Você tem que usar um servidor VNC alternativo. Se você estiver usando o VNC em uma rede não confiável (internet), você deve encapsular o SSH.
O Vino é o padrão (área de trabalho compartilhada), mas x11vncserver ou tightvncserver também funcionará.
Para mais informações, consulte:
Veja: link