Is it possible to have a VM directly speak to, say, a USB modem?
Não. Não é possível.
Uma máquina virtual é apenas isso; uma máquina virtual não física que é executada em cima de um sistema físico host. Se o seu sistema host (físico) não puder ver ou usar o dispositivo USB em questão, a máquina virtual também não fará ideia do hardware. Se o host (sistema físico) não tiver nenhum driver presente para executar o hardware (Modem USB), o sistema convidado geralmente não poderá acessá-lo nem usá-lo.
O que você pode tentar fazer, no entanto, é conectar seu dispositivo USB e instalar os drivers para ele no sistema convidado. Ative o dispositivo como uma interface de rede no host e configure sua conexão de máquina virtual como 'em ponte'. Seu tráfego ainda está passando pela máquina física, pelo barramento de hardware e pelo dispositivo, mas deve pular as outras camadas da rede.
Explicação de diferentes nós de rede para o VirtualBox ou diagramação do Oracle .
Is this a sensible security measure for a box that should have extremely limited Internet services?
Não.
Use SSH ou uma VPN com HTTPS para o site e manter o tráfego de rede seguro.