Qual é o objetivo da etapa intermediária em que você armazena o fluxo H.264 bruto como um arquivo não contido antes de transformá-lo em um contêiner .mp4?
Claro, um fluxo de vídeo raw mpeg2 ou uma trilha de áudio .aac pode ser armazenada sem sobrecarga do contêiner, mas, como você percebeu, os candidatos óbvios para extensões de arquivos fáceis de usar - .avc, .h264, .ts- - não parece tornar um fluxo H.264 bruto mais fácil para o FFmpeg ou VLC manipular.
Se o seu fluxo H.264 estiver destinado a um contêiner .mp4, por que não copiar o fluxo de vídeo diretamente do arquivo .flv para um arquivo .mp4 e armazená-lo lá até que você esteja pronto para enviar o áudio para. o produto final?
A linha de comando seria algo como isto:
ffmpeg -i infile.flv -an -vcodec copy outfile.mp4
Se o FFmpeg lançar mensagens de erro em resposta a esta linha de comando simples, você pode ter um arquivo corrompido.