Eu descobri progressivamente qual era o problema.
usando a opção -oac pcm estava codificando o áudio sem compactação.
Não foi possível usar -oac copy -fafmttag 0x706D devido a pequenas diferenças na taxa de bits de áudio.
Usar -oac mp3lame reduziu o tamanho do arquivo, mas uma taxa de bits maior do que o original estava sendo usada.
Usando -oac mp3lame -lameopts vbr=3:br=96 , obtive um arquivo com um tamanho equivalente à soma dos três arquivos originais. Eu não verifiquei se a qualidade do som é a mesma ou não.