Você não deve excluir diretamente os arquivos dos diretórios /etc/rcn.d como a RageZ disse - você deve usar o script update-rc.d para gerenciar o que inicia e o que não funciona.
Se você usa:
update-rc.d gdm remove
Isso irá impedir o Ubuntu de tentar iniciar o Display Manager por padrão, e deve deixar um bom prompt de texto.
O uso de Control + Alt + F1 deve funcionar , mesmo que o GDM já tenha começado - mas às vezes, se os drivers estiverem quebrados, ele deixa a placa gráfica em um estado em que não pode mais alternar os modos corretamente, portanto, remover o GDM da inicialização é provavelmente uma alternativa melhor.