Você tentou isso: Problemas do Ubuntu e do ASUS G750JM, GTX860M / Nvidia ?
Eu tenho a mesma placa gráfica no meu laptop e tenho sérios problemas também. Às vezes, se eu seguir essas instruções meu o cartão funciona muito bem outras vezes, congela aleatoriamente e se eu não executar nvidia-xconfig não consigo mais inicializar o Ubuntu. É uma maneira muito prejudicial de configurar o cartão, mas é o melhor que eu encontrei e levou algum trabalho para descobrir.