Eu não acho que você quer x11vnc. x11vnc é usado para compartilhar sessões X existentes por meio do vnc.
Você provavelmente deseja o vncserver.
Um guia rápido para iniciar:
$ vncpasswd
Password:
Verify:
$ vncserver :1
Em seguida, inicie o vncviewer no nó remoto e conecte-se para exibir 1.