Não importa, porque você não vai usá-los no host de qualquer maneira. Como você está passando o dispositivo para uma VM, o host não deve usá-lo e sua saída lspci informa que você carregou corretamente o driver stub ( vfio-pci ) em vez de nvidia / nouveau. Um dos principais trabalhos dos drivers do stub é evitar que qualquer um dos drivers reivindique o dispositivo e tentar instalar o nvidia agora pode atrapalhar o carregamento do driver stub.