Por sorte, eu poderia consertar isso sozinho.
Primeiro eu purgou os drivers nvidia novamente.
Então eu fiz um
sudo apt-get install --reinstall lightdm xserver-xorg-lts-utopic xserver-xorg-core-lts-utopic
Reinicializado; e pelo menos o driver nouveau está funcionando novamente.