Se você quiser desativá-lo:
update-rc.d -f gdm remove
Se você quiser removê-lo:
apt-get remove gdm
Você só precisa endereçar o pacote do gdm para impedir que o X inicie. E sim, é perfeitamente seguro.
Além disso, dependendo de qual versão do Debian seu servidor CrunchBang é baseado, você pode estar lidando com o gdm3. Se assim for, basta substituir gdm por gdm3 nos comandos acima.
dpkg -l | grep gdm mostrará o gdm que você instalou.