Supondo que o material de origem esteja usando codecs que o contêiner mp4 suporta, então o que você está procurando é um simples transmux. no ffmpeg você pode fazer isso como:
ffmpeg -i {your in file} -acodec copy -vcodec copy {your out file}
Isto diz ao ffmpeg para não decodificar e recodificar os fluxos elementares, mas simplesmente copiá-los de um container para outro.