Ainda melhor do que apenas remover, você pode usar a remoção e depois autoremove.
sudo apt-get purge ubuntu-desktop
sudo apt-get autoremove
Limpar a opção de acordo com a página man do apt-get:
**purge**
purge is identical to remove except that packages are
removed and purged (any configuration files are deleted too).