Você pode remover grupos com o yum.
yum groupremove "X Window System" "GNOME Desktop Environment"
Use yum grouplist para ver quais grupos você instalou.
Há algum tempo instalei meu primeiro servidor Linux usando o Fedora 10. Fiz o upgrade para o Fedora 11 e percebi que nunca uso o X-Windows na máquina, e durante cada atualização baixei uma quantidade enorme de arquivos que não preciso já que tudo na máquina é feito remotamente usando o ssh.
Usando o yum ou qualquer outra ferramenta, como posso remover completamente o Gnome e o subsistema X-Windows desta máquina? É a única alternativa para fazer uma reinstalação completa e não selecionar o X-Windows?