Use estes comandos para limpar o xubuntu e instalar o xfce:
sudo apt-get purge xubuntu-desktop
sudo apt-get autoremove
sudo apt-get autoclean
sudo apt-get install xfce4
Execute o comando:
apt-cache search xfce | grep xfce
para listar todos os pacotes relacionados disponíveis.
Para instalar todos esses pacotes, execute este comando
sudo apt-get install xfce4*