Talvez tente criar um arquivo /etc/X11/xorg.conf com algo como:
Section "Device"
Identifier "VNC Device"
Driver "vesa"
EndSection
Section "Screen"
Identifier "VNC Screen"
Device "VNC Device"
Monitor "VNC Monitor"
SubSection "Display"
Modes "1280x1024"
EndSubSection
EndSection
Section "Monitor"
Identifier "VNC Monitor"
HorizSync 30-70
VertRefresh 50-75
EndSection
... onde 1280x1024 seria substituído pela resolução desejada.
Eu mesmo não testei; isso é do link (primeiro post).