Uma porta USB é uma entidade de hardware que não foi projetada para falar com vários sistemas operacionais ao mesmo tempo.
Dispositivos USB podem iniciar mensagens no barramento USB, assim, mesmo que houvesse uma camada de abstração, teria que terminar os protocolos e rotear as mensagens, o que é um pouco difícil se um dispositivo inicia uma mensagem - deveria ser roteador para todos os sistemas operacionais?
O que você pode fazer é compartilhar serviços com base no dispositivo USB em um nível superior, por exemplo, use a funcionalidade "compartilhar pasta com host" de um convidado, se o dispositivo USB fornecer armazenamento.