Se o UDP ou TCP é usado, para ter uma transferência confiável, os pacotes devem ser reconhecidos. (No caso do UDP, o próprio aplicativo deve gerar os acks, pois o protocolo não faz isso.) Assim, o mesmo raciocínio se aplica à outra questão a que você se referiu.
A saturação da parte "para cima" da sua conexão com a Internet atrasa o download porque os pacotes que estão "inativos" precisam ser reconhecidos pelo seu computador e esses agradecimentos precisam ser enviados pelo link para cima. Se o seu computador ficar muito atrasado no acks porque o link ascendente está bloqueado com dados, o remetente diminuirá a velocidade e começará a retransmitir os pacotes não reconhecidos. Isto irá aparecer para você como uma diminuição na velocidade de download.