No Debian 7: instale e use tightvncserver ou vnc4server . Você provavelmente tem pacotes semelhantes em seu sistema (talvez sem o 4 ).
digite apt-cache search vnc | grep -v lib | grep server em qualquer sistema baseado no Debian (incluindo Ubuntu, mint, elementar).
X11vnc é o servidor vnc que se conecta a um servidor X11 existente, útil para suporte técnico para ajudar um usuário etc. Mas não tão bom para login remoto, sem permitir que as pessoas vejam o que você está fazendo.
Considere também usar apenas X11 (sem vnc): ssh -X otherhost