Você só precisa instalar o desktop do xfce:
sudo apt-get install xubuntu-desktop
Se depois de instalar o xfce você quiser desinstalar o Unity, você precisa seguir as instruções específicas para a sua versão do Ubuntu.
Eu tenho atualmente o Ubuntu 13.10 instalado dual-boot com o Windows 7. Eu quero instalar o Xubuntu 13.10 no Ubuntu 13.10 sem bagunçar o Windows e sem perder meus dados no Ubuntu: existe uma maneira de instalar o Xubuntu no Ubuntu? todos os meus dados e todos os meus programas? ou eu tenho que desinstalar o ubuntu (e perder todos os meus dados) e, em seguida, instalar o xubuntu?