A maneira mais rápida é através do filtro de sobreposição.
ffmpeg -i in.mov -filter_complex
"[0]split=2[bg][fg];[bg]drawbox=c=blue@1:replace=1:t=fill[bg];
[bg][fg]overlay=format=auto" -c:a copy new.mov
A entrada é dividida em duas cópias. Em um, uma caixa opaca da cor desejada é desenhada em todo o quadro. A segunda cópia é sobreposta no topo. Onde o pixel é transparente na segunda cópia, a primeira cópia é exibida.
Veja o link para a sintaxe de cores. Você pode querer especificar os codificadores corretos.
Você precisará do ffmpeg versão 4.0 ou mais recente.