Para instalar os drivers nvidia manualmente, você precisa executar o instalador nvidia com o servidor X fechado. Então, primeiro solte para consolar
sudo stop lightdm
E, em seguida, vá para o diretório em que você tem o instalador e execute-o. Quando terminar, tente
sudo start lightdm