Instale o "Gerenciador de Pacotes Synaptic" - > abra o gerenciador de sinápticas e digite a senha root- > no canto inferior esquerdo, vá para Status- > Se você instalou usando o navegador web ou o comando dpkg, em seguida, teria uma seção no canto superior esquerdo "Installed (local ou obsoleto)" remover com segurança CUDA de lá, se você instalou usando o apt-get de repos padrão seria na seção (Instalado Manualmente) agora remova-o com segurança.
Para remover dependências indesejadas, não se preocupe, ele não excluirá nada que seja necessário para qualquer outro pacote, "sudo apt-get autoremove".