Se você quiser desativá-lo:
update-rc.d -f gdm remove
Se você quiser removê-lo:
apt-get remove gdm
Você só precisa endereçar o pacote do gdm para impedir que o X inicie. E sim, é perfeitamente seguro.
Além disso, dependendo de qual versão do Debian seu servidor CrunchBang é baseado, você pode estar lidando com o gdm3. Se assim for, basta substituir gdm
por gdm3
nos comandos acima.
dpkg -l | grep gdm
mostrará o gdm que você instalou.