Você pode jogar um pouco com cts , rts ou outras linhas de status serial e verificar se o modem responde a diminuir / aumentar esse sinal correspondentemente. Mas o seu modem pode estar configurado para ignorar essas linhas, ou pode haver outros dispositivos que também reajam a essas mudanças.
Acho que o psusi obteve a resposta correta.
Eu lembro que depurei hylafax
para ter a idéia de como derivou o tipo de modem. Basicamente, ele fez o mesmo que você fez - enviar comandos AT e verificar a resposta "típica".