Primeiro, você precisa identificar se está usando um modem de hardware ou um winmodem. Um modem de hardware tem jumpers que definem IRQ, por exemplo. Para sua caixa de Linux, ela parecerá ser uma porta serial. Se o que você tem é um winmodem, você precisará de um driver para configurar o modem.
Dito isto, se o que você tem é um modem de hardware, será fácil se comunicar. A maioria dos modems de hardware usa um conjunto de instruções Hayes . Se você estiver usando um modem de hardware, uma linguagem de script pode passar argumentos de controle para ele e usar os modems integrados na capacidade de entender o DTMF para passar a saída de volta para a linguagem de script.
Acho que qualquer coisa fora do que eu respondi seria mais adequada para outro fórum. Você fez várias perguntas e eu tenho livros inteiros sobre esse assunto.