Se saturar o upstream ou a largura de banda da rede faz com que a latência aumente, significa que algumas caixas no caminho da rede (provavelmente o modem de banda larga ou CMTS ou DSLAM do ISP) têm um bug conhecido chamado bufferbloat, onde buffer excessivo em uma caixa aumenta a latência sem benefício.
A correção para bufferbloat é atualizar o algoritmo de enfileiramento (também conhecido como disciplina de fila, agendador de rede) do dispositivo com bugs para um algoritmo de enfileiramento inteligente com reconhecimento de latência, como FQ-CoDel.
Se você não pode consertar a caixa real com o problema, você pode contorná-la configurando uma caixa com o FQ-CoDel no topo da sua rede e ajustar sua modelagem de tráfego para torná-lo um pequeno gargalo no direções a montante e a jusante. Dessa forma, o FQ-CoDel entra em ação e permite que o controle de congestionamento do TCP funcione, antes que as filas de buffer inchadas possam se acumular na caixa de bugs.
Você pode fazer isso sozinho com distribuições de firmware de roteadores de código aberto, como o LEDE (antigo OpenWrt), mas se você quiser uma solução pronta para uso, veja o IQrouter no evenroute.com. Ele, aparentemente, ajusta automaticamente a largura de sua banda ao longo do dia, maximizando o rendimento e minimizando a latência.
Muitas pessoas que não aprenderam sobre o bufferbloat incorretamente supõem que os picos de latência são um resultado natural de links de rede saturados. Muitas pessoas também fazem tentativas problemáticas de contornar o bufferbloat ajustando a QoS, tentando priorizar alguns fluxos sobre os grandes fluxos que estão provocando o inchaço. Mas resolver bufferbloat diretamente é muito melhor, porque melhora todos os fluxos, mesmo os grandes que estavam provocando o inchaço.