Você deve conseguir remover o metapacote ubuntu-desktop (e a unidade) - o que impedirá que o seu computador inicie automaticamente no ambiente Unity desktop.
Este comando deve remover completamente o desktop Ubuntu, Unity, o greity Unity e arquivos de configuração relevantes.
sudo apt-get purge ubuntu-desktop unity unity-greeter && sudo apt-get autoremove
Você vai querer ter certeza de ler a lista de pacotes que serão removidos, para ter certeza de que não removerá o pacote que você quer usar.
Fonte: link