Esses modems exigem que o firmware seja carregado pelo driver para inicializar o modem, o que requer acesso de nível usb pelo sistema operacional. O lado serial / comport é apenas para uso operacional após o dispositivo ser inicializado e não ficará visível até que isso aconteça.
Você deve passar por todo o dispositivo como um dispositivo usb e não como um dispositivo serial ou comport. Passagem serial é apenas para portas seriais de hardware old school não portas serial emuladas.
Outra abordagem seria configurar o modem no host e, em seguida, usar a rede interna do VirtualBox para passar pela conexão de rede, adicionando um adaptador de rede no modo de ponte ou NAT e selecionando o uplink correto. Como seu host é windows, você deve poder usar um driver compatível nessa plataforma. Eu não tinha certeza se você queria que este modem fosse privado para o convidado ou estava apenas lutando para compartilhar a conexão.