Não, o ffmpeg não pode fazer isso, já que o segundo para n o arquivo de vídeo iniciará em posições completamente aleatórias dentro do bytestream. Você tem que concatenar o vídeo.
Teoricamente, se seus vídeos eram apenas fluxos de bits H.264 brutos, então seria possível procurar o primeiro quadro e depois decodificá-lo, mas qualquer ferramenta de linha de comando regular como o ffmpeg não conseguirá ler o arquivo, aparece como dados aleatórios. Se você é um programador com experiência em decodificação de mídia, provavelmente poderia fazê-lo para combinações muito específicas de codecs e containers, mas isso exigiria bastante esforço.Sugiro que você divida o vídeo usando um segmentador que possa gerar MP4 fragmentado e não em bytes brutos.