Desativar o carregamento da área de trabalho é uma configuração do systemd
Para (permanentemente) desabilitar a área de trabalho da linha de comando ...
systemctl set-default multi-user.target
Para (permanentemente) habilitar a área de trabalho novamente a partir da linha de comando ...
systemctl set-default graphical.target
A partir das opções do grub você também pode adicionar as opções de inicialização para uma mudança de tempo UM (na reinicialização você terá que refazer isso ou irá obter um desktop) ...
systemd.unit=multi-user.target
Similar a (permanentemente) desabilitar o gdm da linha de comando:
systemtcl disable gdm
(o gdm pode ser alterado para qualquer outro nome de desktop; kdm, xdm etc).