Existe um método conhecido como "PCI Passthrough" que permitirá que sua VM acesse diretamente alguns dispositivos físicos. Esta extensão para o VirtualBox não é instalada por padrão, e é considerada pelo pessoal do VirtualBox por experimental .
Como este é um recurso de desenvolvimento, e não um recurso de desenvolvimento do Ubuntu ou Linux, o suporte neste site será muito limitado. Sugiro que você leia o Manual da Caixa Virtual para obter instruções sobre pré-condições e instruções de instalação para PCI passthrough, e inscreva-se na Comunidade da Caixa Virtual para obter suporte sobre este assunto.