A resposta depende de qual versão do Ubuntu você está executando:
- Em 12.04 e abaixo, pesquise pelo aplicativo chamado "Additional Drivers "
- Em 12.10, é uma guia em "Fontes de software" .
De lá, você pode remover os drivers de que não precisa. Após a reinicialização, todos os drivers de código aberto serão restaurados e os "pacotes problemáticos" serão removidos.