Não, isso não é possível. Quando você vir a janela de login gdm , você já está no modo GUI e não é possível não usar esse modo ao fazer login via gdm .
Pressione Ctrl + Alt + F1 para acessar o console, você pode fazer o login como se estivesse adicionando text ao a linha de comando do kernel.