Tendo problemas semelhantes, eu baixei e instalei os drivers da própria Nvidia.
link (para o seu modelo)
Siga suas instruções, especialmente a parte de não executar o X durante a instalação (tente "init 3") e tudo deve funcionar como esperado.
Espero que ajude!