Primeiro, desculpe pelos seus problemas. As coisas nem sempre funcionam como esperado e o software não é perfeito.
A maioria dos pacotes nos repositórios do Ubuntu estão um pouco desatualizados . Goste ou não, é assim que tem sido desde o começo. A próxima versão do Ubutnu, prevista para outubro, deve ter o driver 319 nos repositórios, testado e pronto para uso.
Você pode remover o driver da Nvidia instalado manualmente se causar problemas. Não há necessidade de reformatar nada.