Eu passei um mês tentando fazer isso. Finalmente encontrei como, basta executar isso:
echo "vfio-pci" | sudo tee /sys/bus/pci/devices/0000:03:00.0/driver_override
echo "vfio-pci" | sudo tee /sys/bus/pci/devices/0000:03:00.1/driver_override
sudo modprobe -i vfio-pci