Sugiro usar tasksel
, que é uma ferramenta baseada em ncurses que permite instalar grupos de pacotes (usados nos instaladores mínimos do debian e do ubuntu).
Após o lançamento da ferramenta a partir do seu terminal, você receberá uma lista de grupos de pacotes. desinstalar o gnome simple untick (usando a barra de espaços) ubuntu-gnome-desktop
isto deve dar a você um slate limpo para trabalhar uma vez aplicado.