O número de motoristas está na casa dos milhares que imagino. Sua lista precisa ser expandida para incluir drivers para USB, wifi, ethernet, bluetooth, mouse, teclado, touchpad, laptop ACPI (como meu Dell e Toshiba que você provavelmente não tem), CPU's, GPU's, etc. Alguns drivers como Nvidia As GPU são opcionais e aparecem na guia "Driver adicional" do Ubuntu, em "Atualizações e softwares", no menu "Configurações do sistema".
A maioria dos drivers não vem do Ubuntu, mas sim do kernel do Linux. A nova versão do Kernel pode adicionar mais drivers para novo hardware.
Faça uma pesquisa nos arquivos * .ko para obter uma apreciação do escopo da sua pergunta. Eu não gostaria de gastar tempo para decidir quais não são essenciais.
Se hoje você não tiver uma placa Intel WiFi, você deseja excluir os drivers como "não essenciais" apenas para que uma nova placa Wi-Fi da Intel instalada não funcione no futuro? Além disso, após a próxima atualização do kernel do Ubuntu, todos os drivers "não essenciais" que você excluiu são instalados novamente, além de novos drivers "não essenciais".