A principal razão para usar o T.38, que eu vejo, é permitir o transporte através de links duvidosos. Além disso, como você disse, o IAX não faz T.38.
O que ele faz é fornecer ao HylaFAX um modem de fax emulado - isso se comunica através do IAX com um asterisco. No extensions.conf, você emitirá um Dial (IAX2 / iaxmodemname [/ extension]) (o ramal remoto opcional é como você diferenciaria entre diferentes linhas de entrada).
No final, será iaxmodem e spandsp que estão realmente fazendo o protocolo de fax, com um link codificado entre eles e um asterisco, e o hylafax conectado na outra extremidade a um modem virtual (ttyIAX0 no meu caso) .
Isso tudo funciona decentemente em LANs confiáveis e maravilhosamente em loopback. Não espere que funcione em um link WAN ou LAN congestionada.
Existe também o txfax / rxfax do asterisco. Estes, pelo que ouvi, carecem de ECC e são propensos a corromper os faxes. OTOH, é uma solução muito mais simples que envolve apenas asterisco (em vez de asterisco + hylafax + iaxmodem + spandsp).
Pesquisando "iaxmodem hylafax" você deve ir para onde está indo. Se você está preso, repostar e eu vou tentar ajudar.
-b