Eu sei uma pergunta antiga, mas só para o caso de ajudar alguém:
Eu tive o mesmo problema, mas percebi que comecei com um novo xstartup
e o arquivo não tinha permissão executável. Então eu dei a permissão para o arquivo e estava funcionando bem
sudo chmod +x ~/.vnc/xstartup
vncserver -kill :1
vncserver :1