O problema é que no ffmpeg, o BMP não é um formato de arquivo. É um codificador (como visto em ffmpeg -encoders ). Arquivos BMP normais podem ser gravados com o image2 muxer , mas se você quiser apenas o codec de vídeo bruto , você precisa do formato rawvideo .
Então, use algo assim:
ffmpeg -i input.wmv -c:v bmp -f rawvideo -an - > output.bin