Para remover apenas o aplicativo, execute sudo apt-get remove <package>
.
Exemplo: sudo apt-get remove nvidia-*
Para remover o aplicativo e todos os arquivos de configuração, sugiro que você execute sudo apt-get purge <package>
.
Exemplo: sudo apt-get purge nvidia-*