Existem vários fatores na velocidade de download. Podem ser os servidores aos quais você está se conectando. Você pode tentar fazer o download de um local diferente para comparar.
A modelagem de tráfego foi mencionada. Isso pode acontecer na rede local, no provedor ou na rede pública. E isso pode assumir a forma de limites rígidos ou ser baseado na carga atual, nos padrões de tráfego ou nas fases da lua.
Onde você está executando o teste de velocidade? É um site do ISP ou um site público como o speedtest.net? Precisa ser um site público. Ter uma ligação rápida ao seu ISP não garante uma ligação rápida à Internet (que é suposto ser o ponto).
Poderia haver outros problemas, mas se você não está percebendo muitas quedas e obtendo consistentemente bons testes de velocidade, eu me concentro no que já foi mencionado.