A desinstalação dos drivers nvidia com apt-get remove nvidia* ou apt-get purge nvidia* reativará os drivers nouveau. Eu tive problemas semelhantes e tive que verificar algumas versões do driver antes de encontrar um que realmente funcionava no meu sistema.