Você parece estranhamente avesso a apenas instalar o Ubuntu Server. Essa seria a solução mais fácil para você obter um sistema estilo sem cabeça.
Além disso, basta remover os elementos da área de trabalho.
sudo apt-get remove xserver-common lightdm
sudo apt-get autoremove
Isso excluirá a maioria dos pacotes gráficos, mas provavelmente haverá lixo por aí. Isso não deve causar nenhum problema, mas não será tão fino quanto uma instalação limpa do servidor.
Ou Se você ainda às vezes quiser a área de trabalho, poderá "quebrar" lightdm
para impedir que ela seja carregada executando sudoedit /etc/init/lightdm.conf
e comente a sub-rotina start on
(dividida em várias linhas então comente-os todos para fora).
Em seguida, no futuro, você poderá iniciar uma sessão gráfica executando sudo start lightdm
.
Mas honestamente, a razão pela qual as pessoas estão sugerindo o Ubuntu Server é porque é o caminho mais fácil para o sucesso.