Eu suspeito que o que você está perdendo é o nome do pacote que contém o driver (se eu estiver errado, por favor, forneça mais informações). Então, primeiro, precisamos encontrar o nome do pacote. Existem duas maneiras de proceder, escolha a que você preferir.
Se você preferir usar um aplicativo gráfico , você pode abrir gerenciador de pacotes Synaptic e, em seguida, selecionar Origem → Local na barra lateral esquerda. A partir daí, você pode ver a lista de todos os pacotes instalados localmente (ou seja, os pacotes que não foram instalados através de um repositório de software). Depois de ter encontrado o seu driver, você pode clicar com o botão direito nele e Mark (it) for removal .
Se preferir o terminal , você pode obter uma lista dos pacotes instalados localmente com este comando:
aptitude search "~Ol"
Depois de encontrar o nome do seu pacote, use apenas sudo apt-get remove PACKAGE .