Para pular a re-codificação, use o demuxer de concat:
Crie um arquivo de texto
file '/path/to/first.mp3'
file '/path/to/second.mp3'
e depois
ffmpeg -f concat -i list.txt -c copy out.mp3
Se a recodificação estiver correta,
ffmpeg -i first.mp3 -i second.mp3 -filter_complex [0:a][1:a]concat=n=2:v=0:a=1 out.mp3