Você não precisa se "livrar" do servidor X - você só precisa pará-lo temporariamente.
Primeiro, mude para um terminal virtual usando uma das combinações de teclas Ctrl + Alt + F1 através da Ctrl + Alt + F6 e faça o login usando seu nome de usuário e senha regulares. Então execute o comando
sudo service lightdm stop
Quando terminar de executar os arquivos .run dos drivers, você poderá reiniciar a GUI usando
sudo service lightdm start