Você já pensou em manter todo esse problema simplesmente usando algum tipo de balanceamento de carga em vez de vincular? Seus pacotes serão muito mais felizes se cada sessão estiver em uma linha ou outra. Usar um codec de áudio mais leve (compactado) em uma única linha compartilhada deve dar a você chamadas de melhor qualidade do que um pesado como o G711, em que os pacotes são divididos e movidos por uma linha conectada.