Eu tive que voltar ao Lubuntu do Ubuntu depois que as atualizações do Ubuntu 14.04 deixaram o sistema muito ruim. O driver Nouveau funcionava sob o Lubuntu, mas estava muito quente, mas a Nvidia 304.125 era melhor (ainda quente, mas executável). Unity é o assassino para você, experimente outro desktop, e essa também pode ser sua solução.
Eu consegui executar o Ubuntu 14.04 instalando o xfce4 e removendo todos os pacotes unitários. Inicialização dupla que agora com Lubuntu, ainda decidindo que eu gosto mais. A instalação do xfce4 precisava ser feita em um terminal virtual, já que não havia interface gráfica utilizável até que a unidade fosse totalmente removida. Não parece haver algum tipo de falha na instalação do driver Nvidia 304 - a partir dos drivers adicionais GUI parecia que funcionou, mas verificando os módulos reais, o único driver Nvidia foi o buffer de quadros, não a nvidia-304 normal. Um simples apt-get --reinstall install nele configurou as coisas direito, não tinha idéia do problema, mas verifique qual módulo de vídeo está em uso enquanto você está trabalhando nisso (com lsmod).