Eu experimentei o mesmo problema, mas apenas com drivers nvidia-304. Os mais recentes drivers nvidia-346 de xorg-edgers funcionam muito bem. Eu resolvi o problema executando os seguintes comandos (em ordem):
-
sudo apt-get remove --purge nvidia* -
sudo add-apt-repository ppa:xorg-edgers/ppa -
sudo apt-get update -
sudo apt-get install nvidia-346
Depois disso, minha máquina funcionou perfeitamente com os gráficos da Nvidia. Espero que também funcione para você.