Você pode usar o DKMS para recriar automaticamente o driver toda vez que atualizar o kernel. Para fazer isso, você terá que instalar o pacote fonte, criar um arquivo de configuração DKMS e configurá-lo.
Há um exemplo de como fazer isso no aqui do CentOS. Isso usa o módulo 'cifs', então você precisa substituir isso com qualquer que seja seu driver.
Para o Ubuntu, as instruções devem ser praticamente as mesmas - basta instalar o dkms, 'build-essential' e as fontes do kernel primeiro. Além disso, se você não tiver uma conta root, não se esqueça de preceder cada comando com 'sudo'.
Há também um artigo do LinuxJournal com muitas informações sobre o DKMS aqui: link