Eu vejo três maneiras de fazer isso:
1. Alterando o nível de execução padrão
Você pode configurá-lo no início de /etc/init/rc-sysinit.conf
replace 2 por 3 e reinicializar.
Você pode ativar a interface gráfica com telinit 2
. ( Mais sobre runlevels )
2. Não inicie o serviço de interface gráfica na inicialização
update-rc.d -f xdm remove
Rápido e fácil. Você pode reativar a interface gráfica com service xdm start
ou reverter suas alterações com update-rc.d -f xdm defaults
3. Remover pacotes
apt-get remove --purge x11-common && apt-get autoremove
Acho que é melhor para um computador considerado como um servidor. Você pode reativar a interface gráfica, reinstalando os pacotes.