$HOME/.vnc/xstartup
é para a área de trabalho X em execução no servidor, não para o próprio servidor. Você precisa criar um arquivo $HOME/.vncrc
com:
$geometry = "1400x850";
nele. Você tem alguma documentação em:
/usr/share/doc/vnc4server/examples/vnc.conf.gz