Para fazer isso com segurança, você precisa alocar todo o controlador USB para a VM usando passagem PCI. Verifique se você tem suporte ao IOMMU (na Intel ele é chamado VT-d) para que seu hipervisor possa isolar adequadamente o dispositivo.
O USB não é ideal neste caso porque você está atribuindo toda a porta USB associada a esta VM.