Eu gosto de manter meus servidores tão "finos" quanto possível; mais código, mais ferramentas, mais coisas é mais superfície de ataque. Sim, a GUI (X) não precisa ser executada o tempo todo; mas também não preciso de todas essas dependências instaladas.
A única coisa que eu descobri é que posso usar um navegador Google Chrome sem cabeça para alguns bots de automação e rastreamento.