Eu instalei a nvidia-340 do repositório e depois disso removi a saudação de unidade.
depois de um autoremove do apt-get também todas as outras coisas gui foram removidas
Está funcionando por enquanto, mas fica estranho que um driver gráfico instale a unidade e o material do gnome