Olhe para o bufferbloat. Pode ser que você esteja atingindo um congestionamento intermitente, mas seu roteador ou modem está ocultando o congestionamento armazenando muitos pacotes em buffer, o que aumenta o atraso sem nenhum benefício e bloqueia os algoritmos de controle de congestionamento do TCP de detectar o congestionamento e trabalhar para aliviá-lo ( esse cenário feio é chamado bufferbloat).
A solução é usar um algoritmo de agendamento de pacotes mais inteligente que use ECN (ou apenas descarte pacotes) antes que os buffers fiquem inchados, para que o controle de congestionamento possa ser ativado antes que ocorra o atraso.
Você pode usar ferramentas como link ou Flent para medir o bufferbloat na sua conexão com a Internet.
Você pode corrigir o bufferbloat carregando uma versão recente do OpenWrt no roteador e ativando o Cake (que usa o FQ-CoDel, o melhor algoritmo de enfileiramento inteligente para combater o bufferbloat).
Se você preferir comprar uma solução pronta para uso, veja o IQrouter no evenroute.com.