Você teria que ter os cabeçalhos linux do seu kernel instalados. Para o 13.04 o linux-headers-3.5.0 -... não está nos repositórios oficiais, então você terá que obtê-lo em outro lugar.
Com qualquer problema da nvidia, é melhor remover todos os drivers instalados e tentar reinstalá-los. sudo apt-get purge nvidia*
e, em seguida, sudo apt-get install nvidia-304
quando você estiver executando o kernel que deseja que eles sejam executados.
Se isso não funcionar, você terá que limpá-los novamente e construir o módulo do kernel da nvidia a partir do código-fonte, ao executar este kernel. Note que não é instalado com um pacote, então quando você quiser remover estes módulos novamente quando você planeja atualizar o kernel, você terá que rodar a ferramenta de remoção específica da nvidia.