Você está pedindo ao ffmpeg para codificar os arquivos no mp4, ao invés de juntá-los em um único fluxo. Você precisa concatenar em temp.ts e depois convertê-lo em .mp4 com -codec copy .
Além disso, acredito que você precise converter adts em aac na segunda etapa -bsf:a aac_adtstoasc .