Você não precisa fazer uma remoção completa para instalar o ambiente de área de trabalho do Xubuntu, se quiser recusar o Unity, faça o seguinte:
sudo apt-get remove --purge ubuntu-desktop
sudo apt-get remove --purge unity
Para fazer uma limpeza mais completa:
sudo apt-get remove --purge unity*
O último pode remover o Nautilus também, o xfce usa o Thunar por padrão, mas se você estiver planejando usá-lo novamente após instalar o xubuntu-desktop, execute:
sudo apt-get install nautilus
Para definir como padrão, você pode executar:
exo-preferred-applications
Escolha o Nautilus como preferir. Em seguida, instale o xfce:
sudo apt-get install xubuntu-desktop xfce4
Depois de tudo isso, você verá melhorias na velocidade, mas talvez seja necessário configurá-lo um pouco, já que é um ambiente de área de trabalho diferente e alguns aplicativos, como a ferramenta Ubuntu Tweak, não funcionarão como no Unity.
No final, você pode executar:
sudo apt-get update && sudo apt-get dist-upgrade
sudo apt-get autoremove
Apenas para fazer uma limpeza, se houver.