Eu encontrei a resposta! Use o bsf chamado "mpeg4_unpack_bframes". Esse bsf tem um nome não intuitivo, mas permite que você use o vídeo "mpeg4" para gravar diretamente em .ts e imediatamente para concatenar .mp4.
Aqui está o script que estou usando em um arquivo de lote para fazer isso:
ffmpeg -i "input_1.mp4" -c copy -bsf:v mpeg4_unpack_bframes -f mpegts intermediate1.ts
ffmpeg -i "input_2.mp4" -c copy -bsf:v mpeg4_unpack_bframes -f mpegts intermediate2.ts
ffmpeg -i "concat:intermediate1.ts|intermediate2.ts" -c copy -bsf:a aac_adtstoasc "input_[FULL].mp4"