Quando você está baixando, você está no final de uma cadeia de dispositivos.
Você tem seu computador,
de lá você provavelmente vai para um interruptor,
de lá para um modem
de lá para algo do seu ISP.
...
...
...
E finalmente para o servidor do qual você está fazendo o download.
Observe todos esses pontos no meio? Esses variam. Assim como o servidor do qual você está fazendo o download.
Se você tiver sorte e todos os dispositivos do início ao fim forem rápidos, você obterá uma grande velocidade, possivelmente maximizando seus dispositivos finais. Para outros destinos, você pode muito bem passar por uma parte lenta com o resultado de uma transferência mais lenta.