Você pode usar o X11VNC para isso. Não sei se existe alguma razão em particular pela qual você tem que usar o VNC, mas se você quer apenas uma solução de desktop remoto sobre SSH, você pode querer dar uma olhada em link , que é uma solução baseada em NX para fornecer exatamente isso. Ele tem alguns recursos interessantes, como o encaminhamento PulseAudio. É muito rápido também - mesmo em conexões lentas.