Eu não conheço seu ISP e, infelizmente, você não especificou como se conectar (Ethernet, ADSL, VDSL, WIFI ou outra coisa), mas sua velocidade é uma combinação de fatores.
O primeiro fator limitante é a velocidade da conexão entre você e seu ISP (ou seja, a última milha). Isso é tipicamente (mas nem sempre) um limite rígido definido pela tecnologia - e eu suspeito que você não esteja limitado aqui.
O próximo limite é qualquer limitação de taxa que o ISP impõe à sua conexão. Seu ISP tem alguma flexibilidade aqui, por exemplo, eles podem (e frequentemente) permitem rajadas - geralmente curtos de alta velocidade, pois isso significa que os sites se sentem mais rápidos, mas no geral você não está usando mais recursos. Mas aqui está a coisa - esses limites de taxa podem ser colocados em caminhos seletivos. Você pode muito bem achar que o ISP não é um tráfego limitante de taxa originado em sua rede - e como alguém apontou - se o Google tem um proxy lá, pode estar ultrapassando o limite - o Google pode estar pagando por largura de banda, então eles podem quero que seja o mais rápido possível. Esse método de limitação de taxa é o que provavelmente está sendo aplicado e poderia explicar suas velocidades.
O último limite é um limite de congestionamento, o que significa que muitas pessoas tentam usar um canal limitado. Não vale a pena discutir esse aqui.