Eu experimentei o mesmo problema, mas apenas com drivers nvidia-304. Os mais recentes drivers nvidia-346 de xorg-edgers funcionam muito bem. Eu resolvi o problema executando os seguintes comandos (em ordem):
-
sudo apt-get remove --purge nvidia*
-
sudo add-apt-repository ppa:xorg-edgers/ppa
-
sudo apt-get update
-
sudo apt-get install nvidia-346
Depois disso, minha máquina funcionou perfeitamente com os gráficos da Nvidia. Espero que também funcione para você.