Eu não preciso da GUI para administrar as caixas do Linux, as únicas aplicações gráficas relacionadas que uso são o meu navegador para pesquisa, o meu cliente de e-mail e o xterms para organizar minhas sessões de tela. Parece haver uma ideia geral de que os administradores "reais" * nix não precisam de uma GUI. Dito isto, eu não sou cego, então meus hábitos de trabalho podem não ser realmente perspicazes.
A maioria dos meus servidores não tem o sistema de janelas X instalado. Eu uso o Linux para minhas estações de trabalho, e embora eu não precise de X para fazer meu trabalho, eu acho bastante inconveniente não tê-lo.