Devido à falta de respostas, fiz meus próprios testes extensivos.
gronostaj está correto que os drivers não são necessários no host para usá-los em uma máquina virtual. No entanto, isso não respondeu a pergunta.
Meus testes confirmaram que você pode instalar drivers de dispositivo USB no Host, e isso não impede que o VirtualBox consiga reivindicar os dispositivos quando necessário. Eu testei:
- Scanner Canon 9000F
- Logitech C170 Webcam
- Logitech F310 Gamepad
- Interface de áudio Roland UA-1G
- Impressora Brother HL-2250DN
Para cada dispositivo acima, instalei drivers no host. Em seguida, criei uma máquina virtual e pedi ao VirtualBox para conectar cada dispositivo a essa máquina virtual. O VirtualBox não teve problemas para reivindicar os dispositivos.