O nvidiafb parece-me um driver de hardware completo, por isso não acredito que possa executar o nvidiafb e o nouveau ao mesmo tempo.
O nouveau fornece seu próprio buffer de quadros. Para uma discussão mais detalhada, veja este postar em linuxquestions.org.
O nouveau é um driver muito capaz (pelo menos para 2d). Mas o driver nvidiafb é muito antigo e pode não suportar bem novos cartões. Pela descrição em sua postagem, parece que você tem o módulo nvidiafb carregado.
Desde que você usou para executar o driver da Nvidia, você ainda pode ter o novo driver na lista negra. Edite seu arquivo /etc/modprobe.d/blacklist.conf e apague a entrada nouveau se ela existir.
Lembre-se de que você pode executar o lsmod a qualquer momento para imprimir uma lista de seus módulos do kernel carregados.
Boa sorte,
-Dave