Como a mensagem de erro diz, mergeplanes
só pode produzir em um formato planar: ou seja, todos os valores do primeiro componente juntos, depois todos os valores do segundo componente juntos, e assim por diante. Os formatos RGB do FFMPEG não são planares: eles agrupam os valores por pixel, não por componente. Então mergeplanes
não pode trabalhar com eles.
No entanto, o FFMPEG suporta o formato GBRP (Green-Blue-Red Planar). Então você pode ter mergeplanes
export para isso, então converta para RGB a partir daí. Apenas mude a ordem dos componentes.