Você tem um roteador idiota (ou, na verdade, pode ser o seu isp). O problema é conhecido como "buffer bloat". Basicamente, isso significa que o roteador tem muita memória RAM e está feliz em usá-lo para colocar os pacotes em fila esperando para serem enviados. Quanto mais pacotes você enfileira, mais demorada a fila, mais tempo leva para um pacote passar pela fila. Isso é agravado pela maneira como o TCP opera quando vê latência. O TCP assume que a latência é causada pelo próprio link, em vez do congestionamento, por exemplo, um link de satélite tem alta latência porque leva tempo para o sinal percorrer milhares de quilômetros para orbitar e voltar à terra. O TCP responde enviando mais pacotes antes de esperar por uma confirmação, que preenche mais os buffers do roteador, o que piora a latência, e você tem um feedback positivo.
Esse problema foi reconhecido anos atrás e roteadores modernos limitam a profundidade de suas filas e apenas começam a descartar pacotes em vez de deixar a latência sair do controle. Se o problema é seu roteador, comprar um novo pode ajudar. Se o problema está no fim do seu ISP, você está sem sorte. Você pode perceber a diferença experimentando e ver qual tipo de tráfego causa a latência: o upload ou o download. Se está baixando, então está no final do seu ISP.