Você não pode normalmente, exceto em circunstâncias muito específicas - que podem ou não se aplicar a você. O termo que você está procurando é PCI passthrough, e isso requer um host de VM que ofereça suporte a ele e a um processador com VT-D / IOMMU. Você não mencionou seu host, mas eu cobri xen, estação de trabalho VMware e esxi (embora o último seja irrelevante para você) e virtualbox
Você pode fazer a passagem USB, mas não consigo pensar em nenhum host de VM que faça a passagem de PCI e muito poucos (principalmente SOs de hypervisor como o ESX) que fazem passagem PCIe. PCI e PCIe requerem acesso de nível inferior a um sistema e, no caso de passagem PCIe, isso significa acesso direto à memória para a VM usando VT-D / IOMMU.
Veja um exemplo de alguém tentando (e tendo problemas com) uma placa PCIe com esxi - e como você pode ver, não é simples
O Xen parece ter suporte para pci passthrough , mas mais uma vez, isso precisa de VT-D / IOMMU, e eu Acredito em sementes remendadas.
Eu não ouvi falar de ninguém fazendo passagem PCI na estação de trabalho virtualbox ou vmware.
Considerando tudo isso, pode ser mais simples executar o modem no host e usar o NAT no convidado para a rede.