Primeiro, livre-se do driver Nouveau:
sudo apt-get purge xserver-xorg-video-nouveau
Em seguida, instale o Bumblebee:
sudo apt-add-repository ppa:bumblebee/stable && sudo apt-get update && sudo apt-get install bumblebee
Agora você pode executar coisas no cartão NVidia da seguinte forma:
optirun <command>
Isso funciona para mim (eu tenho um 520M), mas você pode querer fazer isso em uma instalação nova do Ubuntu, se o X não estiver funcionando (eu posso fazê-lo sair da caixa e você também deve).
E não há um motivo real para executar o X na placa NVidia; não há aumento real de desempenho. A placa NVidia só ajuda se você estiver executando um jogo que usa muita potência da GPU.