Dependendo do que você precisa do USB, eu investigaria um dispositivo de virtualização USB, eles são uma caixa de rede conectada ao seu dispositivo USB e você instala um pequeno programa na VM que cria um porta USB virtual. Dessa forma, o dispositivo USB "se move" com a VM quando é movido entre os hosts.