Um servidor VNC é efetivamente uma placa gráfica virtual. Você pode rodar o vncserver em um servidor linux, e quando você usa um visualizador vnc para se conectar a ele, você pode rodar qualquer aplicativo X11, ou até mesmo um ambiente de desktop inteiro.
Então sim você pode. Retire a placa gráfica, verifique se o vncserver está sendo executado como um serviço.