Estou assumindo que, por um dispositivo não-USB, você quer dizer PCI ou PCIExpress.
O VirtualBox tem suporte experimental para passagem PCI através de uma extensão. No entanto, o suporte está disponível apenas em hosts Linux e somente com determinados hardwares.