A diferença que posso pensar é que os drivers da NVIDIA são feitos pela NVIDIA, que deve ser o designer da sua GPU, enquanto os drivers X.Org Nouveau são feitos pela comunidade, sem nenhuma placa gráfica específica em foco.
Espero que os drivers da NVIDIA funcionem melhor em hardware NVIDIA, porque o projetista de chips deve conhecer melhor seu próprio chip do que a equipe dos drivers Nouveau, mas a menos que você jogue ou use outros aplicativos graficamente exigentes, você não deve notar muita diferença . Na verdade, os drivers Nouveau não possuem o suporte de reclock que os drivers NVIDIA têm nas GPUs mais recentes.
Você pode ler mais informações sobre este tópico nesta outra questão .