Depois de muita brincadeira, descobri que ainda tinha o gnome-shell instalado, então fiz:
sudo apt-get remove gnome-shell
e depois tentei:
sudo apt-get remove unity
Isso dizia que a unidade não estava instalada, mas que um monte de pacotes não eram mais necessários, incluindo ubuntu-netbook-unity-default-settings e sugeri que eu ligasse:
sudo apt-get autoremove
isto seguido por:
sudo restart gdm
me deu uma área de trabalho novamente.