Eu tive um problema semelhante hoje. Após a atualização do (K) Ubuntu 10.04 para 12.04 (eu sei que é um pouco tarde) X realmente não reage mais. Foi extremamente lento, absolutamente inutilizável.
Após a desinstalação dos drivers da Nvidia, ele funcionou sem problemas, mas a resolução gráfica era insuportavelmente pequena.
Eu tentei todos os tipos de remédios sugeridos em qualquer lugar na web, mas nada ajudou.
Somente instalar a versão 304 dos drivers da Nvidia realmente ajudou. Todos os outros, como 96, 173, nvidia-current ou 310 não fizeram o truque. A maioria deles não funcionou, de modo que o respectivo programa nvidia-settings sempre me dizia que eu não estava usando os drivers da Nvidia, embora eles fossem os únicos instalados e houvesse uma tela X na minha frente. Os programas estavam apenas mentindo.
Então, minha recomendação é o driver 304 (experimental).
E minha recomendação para o pessoal da Nvidia e do Ubuntu é testar o software um pouco e evitar lançar drivers com bugs! É uma dor na bunda!