O próprio Qemu suporta o repasse de dispositivos por portas físicas. Você pode identificar qual endereço a segunda porta do seu painel frontal possui e informar ao qemu para encaminhar cada dispositivo sem tocar o driver na VM. Mas esta função não é suportada no libvirt até agora. Também não é suportado como um comando qemu-consol a partir do virsh.
Outra possibilidade seria passar uma placa PCI para a VM, onde o dispositivo está conectado. Então, transferir duas placas PCI para a máquina fará a diferença. Na maioria das vezes é impossível transferir o controle das placas-mãe montadas em dispositivos USB. Eles estão todos em um grupo PCI junto com outros dispositivos obrigatórios para o sistema host. Somente dispositivos de um grupo podem ser transferidos juntos.