Verifique a porta à qual você está tentando se conectar. Quando você inicia o vnc4server, ele deve informar qual display está criando, por exemplo:
jrt@tails:~$ vnc4server
New 'tails:1 (jrt)' desktop is tails:1
Starting applications specified in /home/jrt/.vnc/xstartup
Log file is /home/jrt/.vnc/tails:1.log
Então, eu já tenho o X rodando, portanto o vnc4server iniciou um novo servidor X, : 1 . Por padrão, o VNC se conecta à porta 5900 , mas nesse caso o servidor VNC estará escutando 5901 .
Na máquina linux, você pode executar o comando:
netstat -atpn
e procure por algo como:
tcp6 0 0 [::]:5901 [::]:* LISTEN 2737/Xvnc4
Uma alternativa ao VNC que você pode ver é o FreeNX / nomachine.com.