A primeira coisa a excluir é o bufferbloat. É um bug em muitos roteadores e modems que faz com que eles aumentem a latência (lentidão) durante o congestionamento, em vez de deixar o controle de congestionamento do TCP funcionar corretamente.
Durante um período em que os navegadores parecem lentos, execute dslreports.com/speedtest e veja qual é a sua latência em milissegundos (e seu grau de latência ).
Se não for bufferbloat, eu verificaria coisas como a latência de DNS (use uma ferramenta como dig para executar algumas pesquisas de DNS e ver quanto tempo leva para obter respostas) e latência para os nós de borda locais de CDNs conhecidos (use uma ferramenta como nettop para ver o RTT para vários endereços IP com os quais o seu navegador está se conectando). Eu suponho que eu também procurei a possibilidade de alta perda de pacotes (execute ping por 100 segundos para um endereço IP externo e veja qual porcentagem é descartada), mas eu acho que a alta perda de pacotes também teria matado sua taxa de transferência, então parece menos provável.
Verifique também se você não está configurado acidentalmente para usar alguma VPN ou proxy que você esqueceu. Se todo o seu tráfego estiver passando por uma VPN ou proxy lento, isso pode ser o seu problema.