O problema é com alta contenção, os pacotes começam a enfileirar e os pacotes VOIP não podem se sentar e aguardar. Tem certeza de que você configurou as portas de destino adequadamente para o tráfego que sai do seu site? Você não pode ingresso de forma de pacote, só egresso. Talvez você tenha configurado essas portas de destino para o seu lado da LAN, o que pode incluir muito tráfego não-VOIP também
Idealmente, você alocaria uma fatia de largura de banda que sua classe de tráfego (VOIP) sempre obterá, independentemente de quão congestionada seja a linha, às custas de seu outro tráfego (em massa, por exemplo). Por exemplo, uma chamada VOIP típica requer 88Kb / s (dependendo do codec), multiplique isso pelo número de chamadas conectadas (você disse 5), então arredonde e defina como o mínimo garantido para sua classe de alta prioridade - isso garantiria VOIP ~ 500Kb / s de largura de banda para chamadas VOIP.
Honestamente, para uma boa QoS viável, você está entrando no território da rede corporativa. Eu tive uma boa experiência com o Tomato Shibby e a estrutura / configuração de QoS incorporada nesse firmware em meus roteadores ASUS.