Resolvido
Então é assim que eu consertei:
virsh edite <vmname> # exibe emacs (ou vim para pessoas realmente inteligentes) com o xml da vm
-- added startupPolicy='optional' to the <source> line as below
<hostdev mode='subsystem' type='usb' managed='yes'>
<source startupPolicy='optional'>
<vendor id='0x03f0'/>
<product id='0x4217'/>
</source>
</hostdev>