Você pode tentar fazer isso com o ffmpeg:
mkfifo temp0 temp1
ffmpeg -i input0.mp4 -c copy -bsf h264_mp4toannexb -f mpegts -y temp0 2> /dev/null & \
ffmpeg -i input1.mp4 -c copy -bsf h264_mp4toannexb -f mpegts -y temp1 2> /dev/null & \
ffmpeg -f mpegts -i "concat:temp0|temp1" -c copy -absf aac_adtstoasc output.mp4
Isso não recodifica nada, coloca-os em um novo contêiner de fluxo de transporte, o que facilita a concatenação e concatena-os novamente em um MP4. Se output.mp4 já existir, o comando falhará. A versão acima usa pipes nomeados, você está em um sistema que não suporta aqueles que você teria que usar arquivos intermediários:
ffmpeg -i input0.mp4 -c copy -bsf h264_mp4toannexb temp0.ts
ffmpeg -i input1.mp4 -c copy -bsf h264_mp4toannexb temp1.ts
ffmpeg -i "concat:temp0.ts|temp1.ts" -c copy -absf aac_adtstoasc output.mp4