Pela maneira como a comunicação de rede padrão funciona, sem QOS ou tecnologias similares, nada é garantido e é simplesmente o melhor esforço.
Quanto ao motivo pelo qual você está vendo o que está vendo, não há uma regra única e depende do equipamento de rede que você usa, mas basicamente quando está sob carga, a maioria dos equipamentos de rede fornece apenas uma porcentagem do total quantidade de tráfego que deve fazer - enquanto as conexões UDP (voz / skype / outros) sofrerão, através da magia do TCP, ele continuará sendo reenviado e você obterá os dados no final - você só verá muito atraso.
Pressionando a conexão, sua máquina enviará muito mais pacotes e receberá muito mais retorno - por exemplo, 2% de 1.000.000 de pacotes é muito mais do que 2% de 500 pacotes ... (apenas um exemplo não técnico / aleatório) ... é por isso que um gerenciador de downloads como o IDM que abre especificamente várias conexões pode oferecer velocidades mais altas.
Além disso, quanto a por que outras coisas parecem ser mais rápidas - tudo o que posso pensar é que o equipamento que eles estão usando prioriza o tráfego com base em onde a maioria das conexões já está.