O avconv parece ser a solução
avconv -i $file -map 0:0 -map 0:2 -acodec copy -vcodec copy $outfile
Eu coloquei isso em um loop
dir="*.avi"
for file in $dir
do
avconv -i $file -map 0:0 -map 0:2 -acodec copy -vcodec copy $outfile
done
Eu não tentei salvar o mesmo nome de arquivo, mas presumo que não funcionaria. Você pode facilmente ter isso excluir o arquivo antigo e renomeie o novo. Acabei de sair para um diretório temporário com os mesmos nomes e, em seguida, movi todos eles sobrescrevendo os originais.
Para explicar o mapa arg. diz ao avconv quais faixas copiar. 0: 0 é o vídeo e 0: 2 é a segunda faixa de áudio. Em seguida, o acodec e o vcodec são configurados para copiar, o que significa que copia o áudio e o vídeo sem alterá-lo.