Acho que não há problema em parar o servidor X.
Uma alternativa, que usará menos recursos, é instalar um sistema mínimo do Ubuntu mini.iso
ou do arquivo iso do servidor Ubuntu e, depois de efetuar login no sistema instalado mínimo com apenas uma tela de texto, adicione um gerenciador de janelas leve (por exemplo, Fluxbox) e as poucas ferramentas GUI necessárias.
Depois, você pode iniciar a GUI com startx
(ela não será iniciada automaticamente para que você tenha que sair sempre).
sudo apt-get update
sudo apt-get dist-upgrade
sudo apt-get install fluxbox xinit xterm openssh-server
sudo apt-get install your-particular-gui-tools
Você pode iniciar o gerenciador de janelas com o seguinte comando
startx
e gerencie-o com o botão direito do mouse para obter menus (onde você também pode sair do gerenciador de janelas e retornar à tela de texto).
Se você usar
ssh -X user@network-address
você pode usar vários (mas não todos) aplicativos gráficos remotamente via ssh
.