Como mencionado por Thomas Ward nos comentários, normalmente você deve usar o ISO de instalação do servidor quando quiser uma configuração como essa. Se você já tem um sistema instalado e o que convertê-lo, não é muito difícil. O link dado no comentário mencionado acima tem alguns dos melhores conselhos que eu já vi para simplesmente desabilitar a inicialização gráfica. Infelizmente, se você quiser remover completamente a GUI, é um pouco mais complicado, já que o instalador por algum motivo não marca corretamente pacotes de dependência como instalados automaticamente (se o fizesse, você poderia apenas apt-get purge ubuntu-desktop && apt-get autoremove --purge e acabar com isso).
Agora, quanto à confusão que você expressou nos comentários sobre a terminologia:
X é um servidor de exibição. Em essência, é o bit de software que fica entre todos os seus aplicativos e o próprio SO e media o acesso aos gráficos e drivers de entrada. Wayland é um exemplo de um servidor de exibição alternativo. Em comparação, no Windows, esse componente faz parte do kernel em vez de ser um software independente (porque o Windows moderno foi projetado desde o início para usar interfaces gráficas.
O Unity é um ambiente de área de trabalho. É a maior parte do que é responsável pela aparência diferente de várias interfaces gráficas de distribuição do Linux. Na verdade, um ambiente de área de trabalho não é um único software, mas vários programas separados que trabalham juntos para fornecer a maior parte das coisas que tornam uma interface de desktop uma interface de desktop. Mais especificamente, eles geralmente incluem:
- Um gerenciador de janelas, que é responsável por controlar o posicionamento das janelas na tela, bem como por quão grandes elas são e pela exibição das barras de título (e geralmente também pela manipulação de espaços de trabalho / desktops virtuais).
- Um gerenciador de arquivos, que além do material normal que você espera de um gerenciador de arquivos, exibe ícones na área de trabalho (e geralmente os planos de fundo da área de trabalho, embora possam ser manipulados por um componente diferente).
- Algum meio de iniciar programas, geralmente um menu de algum tipo.
- Opcionalmente, um painel, geralmente chamado de barra de tarefas no mundo do Windows.
Exemplos de ambientes de desktop alternativos incluem GNOME, KDE, CDE, XFCE e LXDE, Pantheon, Sugar, Canela, MATE, Enlightenment e Budgie.
O gnome-desktop é um componente específico do ambiente de área de trabalho do GNOME, mais especificamente o bit responsável por exibir o plano de fundo da área de trabalho. A menos que eu esteja enganado, ele também é usado pela Unity para o mesmo propósito.
LightDM é um gerenciador de exibição. Ele é responsável por manipular o login inicial real no sistema, alternar usuários e, em alguns casos, pode ser responsável por manipular o registro de volta depois que o sistema foi bloqueado (embora esse seja normalmente o trabalho do ambiente de área de trabalho ou do protetor de tela). Ele também lida com a inicialização inicial do servidor de exibição na maioria dos sistemas e a inicialização do ambiente de área de trabalho após o login. O gerenciador de exibição em si é geralmente o que você desativa se você deseja inicializar no modo de texto. Os gerenciadores de exibição alternativos incluem o GDM, o KDM, o LXDM, o SDDM, o SLIM e, até certo ponto, a Qingy.