Tecnicamente falando, o gdm ou o lightdm estão gerenciando solicitações de sessão de desktop que não são servidores X.
(um servidor X está servindo eventos para o aplicativo X, o xorg é um servidor X :).
Editar
Para parar o servidor X killall X
ou sudo killall X
se você não for o proprietário do processo.
Claro que você deve ter um terminal para fazer isso.
Uma maneira, se você não pode abrir um terminal do gnome ou um xterm, é iniciar um console de texto;
pressione simultaneamente as teclas Ctrl + Alt + F1 e, em seguida, faça o login no prompt (sua senha não será mostrada, nem mesmo como asteriscos).
(F1 a F5 estão ok)