Este método dará uma remoção completa de Cuda:
Simples
remova os arquivos CUDA em /usr/local/cuda-5.0
Avançado
Desinstalar apenas o nvidia-cuda-toolkit
sudo apt-get remove nvidia-cuda-toolkit
Desinstalar nvidia-cuda-toolkit e suas dependências
sudo apt-get remove --auto-remove nvidia-cuda-toolkit
Limpar configuração / dados
sudo apt-get purge nvidia-cuda-toolkit
ou
sudo apt-get purge --auto-remove nvidia-cuda-toolkit
Além disso, exclua as pastas /opt/cuda e ~/NVIDIA_GPU_Computing_SDK , se estiverem presentes. e remova as linhas export PATH=$PATH:/opt/cuda/bin e export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cuda/lib:/opt/cuda/lib64 do arquivo ~/.bash_profile