Apenas fique com o Xorg ( aptitude install xserver-xorg ). Pessoalmente eu não conheço nenhuma outra implementação de servidor X moderna e utilizável no Linux além do Xorg. Sinta-se à vontade para me mostrar outras variantes.
No entanto, você tem que usar o VNC? Você tentou o encaminhamento do X? Acho que o encaminhamento do X é mais fácil de usar / configurar que o VNC (suponha que seu computador local rode o linux) e você não precisa instalar todo o ambiente de área de trabalho no seu servidor.
O NX superaria tanto o encaminhamento VNC quanto o X em termos de velocidade e capacidade de resposta. Mas muito mais difícil de configurar (eu usei NeatX , não o servidor NX original)