Isso pode ser um problema de diferentes codecs que oferecem desempenho diferente.
Não é um especialista no assunto, portanto, tome as considerações abaixo com um grão de sal.
Dito isto, um ficheiro mais pequeno ou uma taxa de bits mais baixa (em teoria) não tem necessariamente que resultar num melhor desempenho de reprodução, podendo mesmo resultar num desempenho de reprodução pior.
Por exemplo, se imaginarmos uma codificação que economiza largura de banda calculando o quadro atual baseado no quadro antes (por exemplo, apenas contém os pixels que realmente mudam), isso seria mais desgastante na CPU comparado a um que simplesmente tem dados completos para cada frame.
Uma captura adicional seria que o jogador não seria capaz de simplesmente pular um quadro (algo que o espectador pode nem notar) em uma situação em que atingimos um gargalo da CPU, já que ele precisa desse quadro para calcular o próximo quadro.