Não tenho certeza sobre a resolução , mas você pode definir a largura e a altura da área de trabalho na linha de comando vncserver
. De man vncserver
:
-geometry widthxheight
Set desktop width and height.
Então, por exemplo
vncserver -geometry 1920x1080