Você precisará de apenas 4 arquivos de vídeo para os diferentes tamanhos de vídeo. Mas na verdade você não quer esses três contêineres de mídia diferentes, onde você quer apenas um contêiner que pode ser manipulado pelo seu player de vídeo. Codifique o vídeo usando apenas um codec, como o H.264.
Agora você está apenas processando os vídeos sem saber o que está realmente fazendo. As configurações padrão do FFmpeg são usadas, por isso você experimenta esses resultados. A configuração ultrafast
para libx264 codifica relativamente rápido, mas causa um tamanho de arquivo maior. Leia o guia de codificação x264 para obter mais informações sobre as configurações mais importantes da libx264.
Se você deseja codificar um vídeo para, por exemplo, 480p aqui é um exemplo de uma linha de comando:
ffmpeg -i hd.webm -s 854x480 -b:v 15M -b:a 128k -c:v libx264 -c:a libfdk_aac -preset veryfast output.mp4
Além disso, esta página de suporte do YouTube