Depois de algum experimento sobre esse assunto, descobri onde estava meu erro! Na linha de comando eu usei:
ffmpeg -s 1920x1080 -pix_fmt pal8 -i YFrames_1920x1080.y -c:v rawvideo -pix_fmt yuv420p out.avi
há alguns parâmetros ausentes, mas o mais importante foi -f rawvideo
.
Se eu adicioná-lo no início do cmd:
ffmpeg -f rawvideo -pix_fmt pal8 -s:v 1920x1080 -i YFrames_1920x1080.y -c:v rawvideo -pix_fmt yuv420p out.avi
Podemos usar os dois pix_fmt
gray ou pal8.