A menos que isso também aconteça com os downloads de sites lentos, eu diria que há uma boa chance de o (s) seu (s) download (s) estar saturando sua largura de banda, fazendo com que as páginas se esforcem para passar pelo mesmo canal.
Observação : se esse for o caso, basicamente, a única solução é usar algum plug-in ou aplicativo separado para downloads que seja capaz de limitar a largura de banda usada pelos downloads.