Como a mensagem de erro diz, mergeplanes só pode produzir em um formato planar: ou seja, todos os valores do primeiro componente juntos, depois todos os valores do segundo componente juntos, e assim por diante. Os formatos RGB do FFMPEG não são planares: eles agrupam os valores por pixel, não por componente. Então mergeplanes não pode trabalhar com eles.
No entanto, o FFMPEG suporta o formato GBRP (Green-Blue-Red Planar). Então você pode ter mergeplanes export para isso, então converta para RGB a partir daí. Apenas mude a ordem dos componentes.