Um modem conectado a uma porta serial deve ser detectado pelo PnP. Meu conselho seria desinstalar o modem que você "instalou" e invocar o Windows para procurar um novo hardware no Gerenciador de dispositivos. Se o Windows conseguir encontrar o modem, ele instalará o driver apropriado, se houver um para esse modem.
Se isso não funcionar, minha sugestão seria comprar um adaptador USB para Serial para conectar o modem ao servidor (você pode precisar de um modem diferente também).
Já fiz isso antes e não tive nenhum problema (isso é o que eu uso em casa como minha última conexão de internet no caso de minha internet a cabo cair).