Basicamente, não há questões de segurança que valham a pena se preocupar.
Dito isto, quanto mais coisas estiverem em um servidor, mais vetores de ataque possíveis existirão. Eu diria que uma máquina totalmente com patches com o Gnome será mais segura do que uma máquina sem o Gnome que foi deixada sem correção porque você não pode ser incomodado com isso.
Você pode estar interessado em dar uma olhada em algumas Notas de segurança do Gnome .
Se você não estiver fazendo o login na máquina com muita freqüência, considere também não ter o Gnome rodando o tempo todo esperando que você se logue.