Como apontado acima, ele não deve ter um grande impacto no desempenho do seu servidor. Eu não instalaria um ubuntu-desktop inteiro. O leve Gnome-core deve ser definitivamente suficiente para um servidor.
sudo apt-get update
sudo apt-get install xorg gnome-core gdm gnome-media gnome-system-monitor gnome-system-tools gnome-volume-manager gnome-utils gnome-app-install synaptic firefox
Opcional:
sudo apt-get install sysv-rc-conf
sysv-rc-conf gives an easy to use interface for manag‐ ing "/etc/rc{runlevel}.d/" symlinks
Find 'gdm' (Gnome Display Manager) and uncheck the boxes for runlevels 2 and 3.
Agora você iniciará sua área de trabalho digitando
startx
no prompt do console.