Basta instalar o pacote xubuntu-desktop :
sudo apt-get install xubuntu-desktop
reinicie e escolha a sessão do Xubuntu na tela de login. O material relacionado ao Ubuntu Gnome ainda está instalado, então você sempre pode mudar para o Gnome de volta se mudar de ideia.
No entanto, se você quiser acabar com o Ubuntu Gnome para sempre (acredite, não há razão para fazê-lo), então eu recomendo fazer backup dos seus dados e então limpar a instalação do Xubuntu.