Acho que consegui consertar isso. Primeiro de tudo, desinstalei o driver de vídeo usando:
sudo sh NVIDIA.... --uninstall
onde "NVIDIA ...." é o arquivo do driver de vídeo. Estou escrevendo isso da memória para que o argumento possa estar errado, é no readme como fazer isso. Então, depois de ler alguns fóruns sobre esse problema, eu desintalhei todos os componentes nvidia usando:
sudo apt-get remove "nvidia*"
Então eu instalei o novo driver, reiniciei e até agora parece estar funcionando bem.
Além disso, para ajudar a instalar o driver, modifiquei o nível de execução 5 para desabilitar o GDM e usei o comando 'telinit' para alterar o nível de execução.
Skizz