O M4V é um contêiner MP4 renomeado e, portanto, só pode conter codecs MPEG (e um pequeno número de codecs de áudio não-MPEG, como o AC3). O VP8 não é um codec MPEG. Você tem que colocá-lo em um contêiner MKV ou WEBM (na verdade, uma forma deliberadamente limitada de MKV).
ffmpeg -s 1280x720 -i raw.yuv -c:v libvpx output.webm
Se você deseja obter bons resultados com o VP8, leia o guia de codificação do VP8 no wiki do FFmpeg .