Você está pedindo ao ffmpeg para codificar os arquivos no mp4, ao invés de juntá-los em um único fluxo. Você precisa concatenar em temp.ts
e depois convertê-lo em .mp4
com -codec copy
.
Além disso, acredito que você precise converter adts
em aac
na segunda etapa -bsf:a aac_adtstoasc
.