Você pode alterar o volume de fluxos de áudio usando o filtro volume . No entanto, você precisará recodificar o áudio quando usar um filtro. Se você não quer perder a qualidade, pode sempre recodificar para um formato descompactado (usando -c:a pcm_s16le , mas os tamanhos dos arquivos serão maiores. Como alternativa, você pode compactar o arquivo ainda mais e deixá-lo no formato mp3). - mas naturalmente a qualidade será reduzida ...
Além disso, provavelmente você vai querer brincar com o volume que deseja em cada fluxo, mas aqui está um exemplo que pega o arquivo a.mp3 e deixa 25% do volume original, deixando o volume de b.mp3 sozinho. Neste exemplo, estamos indo para a rota de áudio não compactada e indo para um contêiner .wav.
ffmpeg -i a.mp3 -i b.mp3 -filter_complex "[0:a]volume=.25[A];[1:a][A]amerge[out]" -map [out] -c:a pcm_s16le out.wav