Na maioria dos casos, o seguinte comando deve funcionar:
sudo apt-get purge xfconf xfce4-utils xfwm4 xfce4-session thunar xfdesktop4 exo-utils xfce4-panel xfce4-terminal
sudo apt-get clean
sudo apt-get autoclean
sudo apt-get update
Se não, primeiro obtenha uma lista de pacotes instalados pelo xfce. Executar:
dpkg --get-selections | grep xfce
Veja os pacotes instalados e, em seguida, elimine-os por:
sudo apt-get purge <package1><package2><package3>
sudo apt-get clean
sudo apt-get autoclean
sudo apt-get update