Use
ffmpeg -i ./a.mp4 -vf colorchannelmixer={...} -pix_fmt yuv420p -y out.mp4
O filtro ccm gera pixels RGB que são automaticamente convertidos em yuv444p para codificação x264. No entanto, esse formato de pixel é incompatível com a maioria dos jogadores, por isso precisamos forçar para um formato compatível que é yuv420p.