No Ubuntu, usar os drivers do site da Nvidia provavelmente causará mais problemas do que soluciona (não sendo o menor deles o fato de ser um PITA instalado para começar).
No meu sistema, costuma haver três drivers da Nvidia, além do genérico. Um experimental, estável e estável testado. Eu recomendaria tentar um dos outros e ver se isso faz diferença.
Além disso, fique de olho nas atualizações e veja se há uma atualização de driver do kernel ou da Nvidia que corresponda ao seu problema. Mantenha anotações sobre o que estava acontecendo antes de fechar antes dos problemas e veja se encontrou algum padrão.