Eu removi a unidade completamente do meu sistema e acabei de ter o gnome-desktop-environment com o gdm como meu gerenciador de exibição padrão. Não precisei instalar nenhum pacote como o ubuntu-desktop ou o gnome-ubuntu-desktop para não quebrar nenhuma dependência.
dpkg -L ubuntu-session
mostra que gnome-session é uma parte do pacote, mas na verdade não é. Somente removendo explicitamente o gnome-session via sudo apt-get remove o gnome-session, a sessão do gnome seria removida, caso contrário não. Finalmente, eu tenho um ambiente de desktop gnome pobre, sem nenhum parasita de unidade:)