A desinstalação dos drivers nvidia com apt-get remove nvidia*
ou apt-get purge nvidia*
reativará os drivers nouveau. Eu tive problemas semelhantes e tive que verificar algumas versões do driver antes de encontrar um que realmente funcionava no meu sistema.