No meu servidor Ubuntu, ele não estava funcionando com o parâmetro -randr , mas funciona muito bem usando várias vezes o parâmetro -geometry . Experimente.
Então você entraria:
vncserver -geometry 1600x1200 -geometry 1440x900 -geometry 1024x768
Depois, você usa o comando xrandr para alterar a resolução.