Você deve ser capaz de usar o método protocolo de concat para combinar os arquivos:
ffmpeg -i "concat:input1.mp4|input2.mp4|input3.mp4" -c copy output.mp4
Além disso, o manual do FFmpeg discute um método especificamente para arquivos MP4, a fim de concatená-los sem perdas, mas requer que você crie arquivos temporários (ou pipes nomeados):
ffmpeg -i input1.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate1.ts
ffmpeg -i input2.mp4 -c copy -bsf:v h264_mp4toannexb -f mpegts intermediate2.ts
ffmpeg -i "concat:intermediate1.ts|intermediate2.ts" -c copy -bsf:a aac_adtstoasc output.mp4