Eu não fiz isso com o RHEL ao vivo, mas eu tirei o X do CentOS 5.1 e 5.2. (Eu estive tirando X das distribuições derivadas do Redhat por anos ... desde que as dependências foram feitas de modo que você, basicamente, tinha para instalar o X, quer você quisesse ou não.)
Não me lembro das dependências exatas, mas, se bem me lembro, há algumas dependências que exigem um argumento "--nodeps" para o RPM, a fim de remover os RPMs ofensivos. Acabei de começar a extrair pacotes dos quais não preciso, adicionando mais e mais pacotes à linha de comando "rpm -e" e finalmente adicionando "--nodeps" quando necessário.
Eu não sei se recomendaria fazer isso para máquinas de produção. Eu não implantei qualquer quantidade de CentOS em ambientes de produção, então é provavelmente certo que eu possa estragar minha instalação. Em um ambiente de produção, o espaço em disco é barato. Eu não gosto de ter softwares desnecessários instalados, do ponto de vista da segurança, mas provavelmente o The Right Thing (tm) deve reconstruir os pacotes com dependências ofensivas (sem as dependências ofensivas, obviamente) em vez de apenas rasgar e potencialmente tornando um sistema inutilizável.