Depois de muito tempo lutando com o problema, encontrei uma maneira de contornar:
primeiro codifique usando o ffmpeg sem som
ffmpeg -loop_input -t 97 -r 30000/1001 -i v%4d.tga -s 400x400 \
-vcodec mpeg2video -acodec copy -f mpeg -y -r 30000/1001 test7.mpeg
use o mencoder para mesclar o vídeo e o som
mencoder -of mpeg -ovc copy test7.mpeg \
-audiofile Final.ac3 -oac copy -o test8.mpeg
A saída do mediainfo permanece quase a mesma de antes, mas o som agora está OK. Eu não sei porque. Eu tentei comparar os dois arquivos com o cmp, mas há muitas diferenças, então não consegui descobrir nada.
Espero que no futuro eu possa usar o ffmpeg para fazer tudo em um passo.