A versão mais recente do Xorg e por extensão Xvnc tem -nolisten como opção padrão.
Quando eu preciso de uma exibição gráfica em um nó sem cabeça, eu tenho um script de inicialização (RHEL 6, antigo eu sei) com o seguinte comando:
exec /usr/bin/Xvnc -geometry 1024x768 -listen tcp +iglx -AlwaysShared -DisconnectClients=0 -SecurityTypes=None :<displaynum>
Note que isso inicia outra tela X.
Eu uso start xvnc-headless quando preciso iniciá-lo, pare xvnc-headless quando terminar.
Você também pode usar -rfbport para alterar a porta e também pode desejar configurar e definir SecurityTypes para algo diferente de none. Espero que isso ajude.