Consegui que tudo funcionasse removendo todos os drivers usando
sudo apt-get purge nvidia-current
sudo apt-get purge bumblebee
Eu então consegui instalar o bumblebee com as instruções na página do bumblebee. Eu tive que usar o um para 13.10 não 12.04 embora. Mas estou feliz que funcione.