Se a gravação for boa, você sabe que os pacotes de ambos os dispositivos chegaram ao freeswitch. Eu não tenho certeza de que maneira a gravação foi executada, mas há uma boa chance de que isso dê a você uma dica de que ambos os pacotes chegaram a tempo para o servidor também. (Essas coisas podem ser provadas com um tcpdump de todos os pacotes upd e wireshark, foi uma boa sugestão para capturar o tráfego no servidor para examiná-lo!) Da minha extensa experiência com VoIP isso soa porém como um problema com a banda de ingresso no site da pessoa que está experienciando o áudio ruim, algumas vezes problemas como estes também aparecem devido a sinalizadores QOS não corretamente configurados (ou no modo descartados). Certifique-se de que todos os dispositivos e o freeswitch usem o EF como configuração de QOS para o RTP. Usando o wireshark, você também pode verificar se as sinalizações são descartadas pelo seu ISP. Se o fizerem, geralmente há pouco que você possa fazer a respeito, a menos que você tenha uma conta comercial que alega suporte ao QoS, caso em que você deve reclamar com ele.