As VMs não são executadas em um servidor X. Eles correm em uma máquina física. Você pode redirecionar a saída para diferentes servidores X, se quiser.
No Virtualbox, você também pode usar um modo "sem cabeça" para VMs - elas não usarão nenhum X-display.
Outra alternativa pode estar usando Xfvb
como X-Server. Você pode então iniciar os processos do servidor VNC dentro das VMs e se conectar lá.