É mais provável que isso aconteça com a conectividade do seu ISP e possivelmente com os "problemas de neutralidade da rede".
O primeiro passo que eu tomaria seria obter MTR e fazer MTRs para descobrir latência, perda de pacotes e roteamento para cada local.
Como seus resultados são consistentes, é altamente improvável que seja um problema com seu computador, roteador ou conexão com seu ISP. É muito mais provável que seu ISP tenha um número de upstreams - alguns saturados, outros não e / ou alguns sites estão localizados em sua rede ou via peering. Também poderia ter a ver com managemet / pooling de largura de banda. Outro, menos provável - mas ainda assim possível problema poderia ser a conectividade dos sites do teste de velocidade.