Minha solução seria bloquear o pacote de atualização até que o problema seja resolvido. Dessa forma, você pode continuar a atualizar o software crítico, mesmo que esse driver possa ter problemas de estabilidade.
Segure um pacote:
sudo apt-mark hold package_name
Remover a retenção:
sudo apt-mark unhold package_name