Bem, se você não usa o Unity, pode desinstalá-lo completamente. Basta executar este supercommand de shell:
sudo apt-get update && sudo apt-get check && sudo apt-get purge unity -y && sudo apt-get autoremove -y && sudo apt-get clean && rm -rf ~/.unity ~/.local/share/unity && sudo telinit 6
Após o seu sistema reiniciar, na janela de login, certifique-se de que no canto superior direito a seção selecionada é o Xubuntu (se você não estiver no XUbuntu, selecione o Xfce opção). Depois de fazer isso, faça o login e verifique se tudo está ok ou se está bagunçado.
PS: Eu uso o XUbuntu. Quando você instala, ele não pré-instala o Unity. Se você está usando o XUbuntu, é estranho que o Unity esteja instalado: não deveria ser. Portanto, é seguro remover completamente o Unity.