Você verificou o tempo de ping em speedtest.net ? O problema mais provável é a latência no seu caso, que tem um grande impacto no desempenho.
Outra métrica a ser observada é a velocidade de upload. Eu tenho uma conexão de internet rápida (50 Mb / s), mas a parte ruim é que a velocidade de upload é patética (2 Mb / s), tornando a navegação geral mais lenta do que eu gostaria.