Você pode instalar um gerenciador de janelas simples no Ubuntu Server e iniciá-lo somente quando precisar. Eu acho que pode ser o suficiente para instalar o fluxbox, xinit, xterm
(e os pacotes que eles querem)
sudo apt update && sudo apt upgrade
sudo apt install fluxbox xinit xterm
e você pode iniciar o gerenciador de janelas gráfico com
startx
O seguinte link está descrevendo um sistema, onde este está disponível através de um menu de modo de texto
help.ubuntu.com/community/Installation/UEFI-and-BIOS
mas você pode fazer isso manualmente, como descrito nesta resposta.