Verifique a taxa de bits dos arquivos com o Mediainfo. Se for o mesmo, verifique a duração. Se for o mesmo, provavelmente são tags do arquivo original, podem ser imagens incorporadas, por exemplo, que tornam o original maior. Aqueles podem ser verificados com Mp3Tag.
Além disso, talvez tente algo diferente de FFmpeg.