Acho que encontrei uma resposta depois de um pouco mais de pesquisa. Quando você faz o upload para o YouTube, provavelmente ocupa 100% da sua velocidade de upload. Eu não posso dizer com certeza, já que você não respondeu ao meu comentário ainda, mas as velocidades de upload são geralmente muito mais lentas do que as velocidades de download.
Você poderia pensar que o upload não deve afetar o download, mas sim. O protocolo TCP exige que os pacotes de confirmação sejam enviados durante o download. É difícil enviar esses pacotes ACK quando o upload da sua Internet está sendo usado pelo upload do YouTube.
Fonte: link