Abra o tty1 via Ctrl + Alt + F1, faça o login e instale o seu driver. Para matar o servidor X não é necessário. Dependendo do seu sistema, é inútil, porque o servidor é reiniciado automaticamente.
Se a instalação falhar, inicie o modo de recuperação através do menu grub (segure a tecla Shift esquerda durante a inicialização do sistema), inicie a rede e o shell de root e instale o driver desta forma.