Se você quiser instalar o xfce, sugiro que faça isso:
sudo apt remove ubuntu-desktop
sudo apt-get install --no-install-recommends xubuntu-desktop
Então você terá um ambiente baseado em xfce. Se você preferir uma instalação completa, basta remover --no-install-recommends
deste comando.