Depois de bater a cabeça contra a parede por 2 dias, descobri por que não estava funcionando.
Eu devo mencionar que eu instalei o CUDA 7.5 e que também instala os drivers da Nvidia 352. Eu também tenho uma nova cópia do 14.04.3 instalada e atualizada apenas antes de instalar os drivers CUDA do site da Nvidias.
Depois de olhar o log do Xorg, descobri que o GLX não estava carregando. Eu aprendi que primeiro um módulo do kernel é carregado e então o GLX e depois algo como o LibGL. Para corrigir o problema do GLX, instalei alguns pacotes.
sudo apt-get install bumblebee bumblebee-nvidia linux-headers-generic
Depois de fazer isso, tudo funcionou para minha surpresa. Eu não tenho idéia do porque isso não está instalado no processo, mas eu relatei o bug para a Nvidia de qualquer maneira.
Estou apenas começando a brincar com o CUDA, mas parece que isso não deveria levar dois dias para começar a trabalhar.