Existem informações aqui sobre como remover a maioria dos ambientes de desktop de uma instalação do Ubuntu.
Efetivamente, isso é provavelmente o que você quer fazer: remover todos os desktops e X. Uma vez que todos os desktops tenham ido, fazer um autoremove completo deve puxar todas as dependências, que devem incluir todo o X.