Tente remover completamente seus drivers nvidia do seu sistema:
sudo apt-get purge nvidia*
Remova seu xorg.conf
sudo rm /etc/X11/xorg.conf
Reinstale o xorg completamente
sudo apt-get install --reinstall xserver-xorg-core libgl1-mesa-glx:i386 libgl1-mesa-dri:i386 libgl1-mesa-glx:amd64 libgl1-mesa-dri:amd64
Re-configure o Xorg
sudo dpkg-reconfigure xserver-xorg
Reinicie
sudo reboot
Você deve ser saudado com lightdm, isso fará com que o padrão seja x da mesma maneira que uma instalação nova. Depois disso, você pode tentar instalar o nvidia a partir do aplicativo "Drivers adicionais".