Eu não acho que isso tenha nada a ver com arquivos de configuração. É mais provável que a instalação do xvfb tenha algumas dependências, e sejam essas as dependências que causam o problema. Quando você removeu quando, as dependências não foram removidas, o que significa que o problema não foi corrigido.
Verifique seu yum.log e procure a transação na qual você instalou o xvfb. Verifique quais outros pacotes foram instalados junto com ele. Remova eles. Isso deve resolver seu problema.