Você pode configurar o GDM para desabilitar o servidor X local em /etc/gdm3/daemon.conf
.
No Debian 6 (squeeze), use:
[daemon]
NoConsole = true
No Debian 7 (wheezy), use:
[xdmcp]
ShowLocalGreeter = false
Claro, isso pressupõe que você esteja executando o GDM com o XDMCP ativado. Caso contrário, você também pode desabilitar ou remover o GDM.