Os telefones provavelmente usam a randomização da porta de origem. Eu não me preocuparia com isso.
O problema pode ser que o roteador NAT do consumidor está causando a latência; Eu tenho visto essas coisas experimentam problemas tentando manter uma tabela NAT para apenas 5 usuários. Se possível, tente usar uma VPN para percorrer os links ADSL em vez de NAT.
Os telefones da Mitel são hipersensíveis à latência. Seu guia de engenharia tem várias recomendações relacionadas à redução do número de saltos entre o telefone e o PBX por esse motivo. Você deve ter largura de banda mais que suficiente, contanto que esteja usando o G.729.
60-70ms é uma espécie de fronteira com o que esses telefones podem lidar. Eu sugiro strongmente que uma latência maior está sendo introduzida por seus roteadores de nível de consumidor falhando, mas também pode ser que o ISP também esteja desacelerando (isto é, é claro, totalmente separado de se eles estão fornecendo largura de banda suficiente).