Acho que o que você está procurando é um desktop leve que possa ser iniciado sempre que quiser (com base em seus comentários) e que você possa parar quando terminar. Para isso, antes era recomendado o gnome, mas agora o caminho a percorrer é lxde ou xfce. É com você o que instalar:
sudo apt-get --no-install-recommends install lxde-core xorg-core // If you want lxde
sudo apt-get --no-install-recommends install xfce4 xorg-core // If you want xfce
A partir daí, você poderá usar o comando startx
para iniciar uma sessão do Xserver.
Para um servidor sem cabeçalho
Para um servidor sem cabeçalho, o procedimento é quase o mesmo, apenas que talvez seja necessário usar o encapsulamento SSH + VNC se o servidor for um local remoto. Já havia uma pergunta que foi respondida (várias vezes) sobre como fazer isso, então não vou repetir o mesmo novamente: link