Esses são sintomas clássicos de um bug comum de roteador conhecido como bufferbloat. Uma maneira de resolver isso é instalar uma distro de firmware de código aberto, como DD-WRT ou OpenWrt no seu roteador, e habilitar o algoritmo de enfileiramento inteligente CoDel ou FQ-CoDel, que foi desenvolvido especificamente para corrigir esse bug. Às vezes, também ajuda a habilitar a modelagem de tráfego para tornar seu roteador um pequeno gargalo, para que o CoDel possa trabalhar sua mágica em sua rede, mesmo que a caixa que está executando o CoDel não seja a única em que longas filas de buffer estivessem se acumulando.
Para uma solução pronta, veja o IQrouter.