Tente remover completamente seus drivers nvidia do seu sistema:
sudo apt-get purge nvidia*
Remova seu xorg.conf
sudo rm /etc/X11/xorg.conf
Reinstale o xorg completamente
sudo apt-get install --reinstall xserver-xorg-core libgl1-mesa-glx:i386 libgl1-mesa-dri:i386 libgl1-mesa-glx:amd64 libgl1-mesa-dri:amd64
Re-configure o Xorg
sudo dpkg-reconfigure xserver-xorg
Reinicie
sudo reboot
Você deve ser saudado com lightdm, isso fará com que o padrão seja x da mesma maneira que uma instalação nova.
Depois disso, você pode tentar instalar os drivers novamente usando a ferramenta 'Additional Drivers' no Ubuntu, mas se esses drivers não funcionarem, você pode testar os drivers mais recentes do ppa x-swat
sudo apt-add-repository ppa:ubuntu-x-swat/x-updates
sudo apt-get update
sudo apt-get install nvidia-current
Nota - se o acima não funcionar - tente também usar o kernel PAE
sudo apt-get install linux-headers-generic-pae
(dica recebida pelo @Scott)