Acho que você não está mais interessado nesta pergunta, mas pode ser que outra pessoa procure uma resposta:
Não, não é necessário remover nada explicitamente. O instalador oferecerá a desinstalação automática da versão anterior no início. Você pode, no entanto, instalar uma nova versão do CUDA em outro diretório sem remover o anterior, tendo assim duas (ou mais) versões diferentes do CUDA Toolkit (e alternando entre elas com, por exemplo, update-alternatives se você usar linux). / p>
No entanto, você deve atualizar seu driver de vídeo para a versão fornecida com o kit de ferramentas mais recente (ou mais recente) ou obter erros de tempo de execução. Novamente, não é necessário desinstalar explicitamente o driver anterior.