Primeiro verifique se a interface do Ubuntu Unity ainda não está instalada clicando no logo do Ubuntu ao lado do seu nome na tela de login. Talvez a interface do Unity ainda esteja instalada.
Este post explica exatamente como mudar entre diferentes versões do * buntu. A maneira mais fácil seria instalar o Ubuntu Desktop antes de remover o Xubuntu Desktop (se você quiser removê-lo, você também pode manter o Ubuntu e o Xubuntu instalados para que você possa mudar à vontade, mas você terá muitos softwares (duplos) instalados e use mais espaço no disco rígido.)