Você pode desativá-lo usando
sudo update-rc.d -f lightdm remove
O comando acima removerá os links simbólicos lightdm nos vários diretórios init de nível de execução, por exemplo. /etc/rc0.d, rcS.d, rc2.d etc ..
Agora, após cada login, você precisa inserir o comando startx
manualmente para iniciar a GUI.
Para enble it type
sudo update-rc.d -f lightdm defaults