Para vídeo H.264, use um formato de contêiner de saída mais comum, como .mp4 , .mkv , .ts etc. Além disso, adicione -pix_fmt yuv420p se quiser que os reprodutores simplificados (WMP, QuickTime) sejam capazes decodificá-lo corretamente.