Idéias (você não dá detalhes suficientes, na verdade):
- Máquina lenta?
- Lendo de (servindo arquivos de) e escrevendo para (download de gravação para) mesmo disco rígido ao mesmo tempo sem buffer suficiente?
- Fazendo o download local ou indo até a Internet e de volta (ou seja, usando endereço IP externo para o seu servidor ou LAN local um ou 127.0.0.1)? Speedtest não é relevante se não sair para a Internet!