Aqui está o meu palpite ...
Como os tempos de ping mudam quando as coisas ficam lentas? Constante 30-100ms? Ou eles diminuem para 3.000-10.000 ms ou começam a receber pacotes descartados? Os tempos de ping para o seu roteador verificariam sua conexão Wi-Fi local & responsividade do roteador, o ping do google faria isso além de sair para o lado do google da internet. Se os tempos de ping não diminuírem, talvez seja apenas uma parte / ramificação de sua internet que está diminuindo por outros motivos.
Às vezes, posso sobrecarregar meu roteador (ou talvez wi-fi) especialmente torrents. As coisas entravam e diminuíam muito se houvesse conexões demais para as coisas funcionarem. Quando isso acontece, os tempos de ping diminuem lentamente. Limitar o número de conexões pode ajudar.
Algumas vezes o Wi-Fi também não é confiável, talvez a interferência de microondas, motores, qualquer coisa, sejam apenas ondas de rádio.
E talvez o seu wifi não esteja reportando a intensidade real do sinal, eu tive um adaptador que mostrou apenas + 60%, mas cairia abaixo disso. São 60%, na verdade, cerca de 10%.