Descobri o motivo dos downloads lentos, caso outros tenham o mesmo problema.
Eu estava executando uma ferramenta chamada IISTracer no meu servidor, aparentemente há um problema conhecido que reduz as velocidades de download de arquivos para cerca de 80kbps.
Assim que desativei, minhas velocidades de download atingiram 330kbps!