Você pode usar -map para escolher quais fluxos deseja e usar -c copy para cópia de fluxo (re-mux).
Este exemplo copia os fluxos de vídeo de hd.mkv e os fluxos de áudio de sd.avi :
ffmpeg -i hd.mkv -i sd.avi -map 0:v -map 1:a -c copy -shortest output.mkv
Se você quiser compensar uma das entradas, consulte a opção -itsoffset .