Se você não precisa ter dispositivos USB para passar para o convidado, pode desativar a passagem USB nas configurações do seu VB.
configurações da VM > USB > Ativar o controlador USB
Você também pode colocar o dispositivo USB na lista negra.
Veja aqui link
Espero que isso ajude.