A única maneira de obter a versão 304 do driver é baixá-lo do site da Nvidia e fazer uma instalação manual. Agora, as opções são: 1.reinstale o driver 304, ou 2.remove e use o fornecido pelo Ubuntu.
1) Para remover tudo relacionado a Nvidia dos repositórios, execute
sudo apt-get purge nvidia* && sudo apt-get autoremove
... então execute o instalador manual que você baixou da Nvidia.
2) Para desinstalar o driver instalado manualmente, use o instalador baixado para executar
sudo sh NVIDIA* --uninstall
... então
sudo apt-get purge nvidia* && sudo apt-get autoremove
... depois reinicialize e, se obtiver a GUI, use o utilitário Drivers Adicionais. Se não, corra
sudo apt-get install nvidia-current