Ok, então depois de vasculhar a web, essa é a solução que eu criei.
Eu estava usando o arquivo xorg.conf gerado manualmente usando nvidia-xconfig . Que não estava gerando a configuração correta. Isso é o que finalmente funcionou para mim.
Pressione ctrl+alt+f2 (ou qualquer combinação de teclas usada para entrar no modo de linha de comando)
Faça login como administrador.
Se você estiver usando GDM como eu, vá em frente e pare o processo usando service gdm stop .
Verifique se o seu X-server está em execução ou não. Use ps -C Xorg e depois mate o processo. kill -9 PID
Use Xorg -configure , o que gerará xorg.conf.new
agora simplesmente mova o arquivo .new para o diretório /etc/X11/ , usando
mv xorg.conf.new /etc/X11/xorg.conf
agora reinicie o GDM
service gdm start
E pronto!