Eu tenho uma necessidade semelhante e tenho procurado por horas e horas por uma solução. O mais próximo que eu encontrei é um programa gratuito, mas não muito bem escrito chamado "TimeFax" ( link ), que instala um porta COM virtual e conecta-a a um receptor H.323. Você pode fazer com que o Windows instale um modem 14k legado naquela porta COM e, teoricamente, o programa pegará os dados da porta COM e os transformará em H.323 e canalizará para qualquer receptor que você especificar. Então tudo que você precisa é uma terminação VoIP H.323, e você pode ser bom.
Observe que para que o TimeFax funcione no Windows Vista ou 7, você precisa desativar a composição da área de trabalho nas configurações de compatibilidade. Você também terá que baixar manualmente os 2 arquivos dll que está faltando, que ele vai reclamar quando você tenta executá-lo. Uma rápida pesquisa no Google os encontra facilmente.
Você ainda terá problemas com a compactação VoIP, mas se reduzir a velocidade, poderá conseguir algo que funcione. Alguns anos atrás eu roteava um modem dial-up através de uma conexão Vonage, e funcionava surpreendentemente bem se eu mantivesse a velocidade lenta (como 14k), então eu sei que o dial-up sobre o VoIP é possível, eu não tenho tenho uma solução completamente de software funcionando.