Eu sei que esta é uma pergunta antiga, mas no caso de alguém se deparar com este problema, pode haver extensões do navegador que estão a abrandar as coisas.
Digite:
chrome://extensions/
Na barra de endereço, você pode desabilitar / habilitar (ou excluir, se quiser) qualquer ramal instalado e ver se faz alguma diferença na sua velocidade.