O problema era que o sistema ainda estava usando o lightdm (gerenciador de exibição do xfce) ao invés do gerenciador de exibição do kde, que é o kdm. Para forçar o sistema a usar o kdm primeiro, eu fiz systemctl enable --force kdm.service
e depois reiniciei. Seguido por yum remove lightdm-gtk-1.6.1-3.fc20.x86_64
. Finalmente terminou com yum remove @xfce
Deve ser útil para qualquer pessoa que possa ter começado com um giro do xfce e decidido mudar para uma área de trabalho diferente.