Tanto quanto eu sei, você não pode fazê-lo na mosca.
Por outro lado, você pode apenas salvá-lo novamente no mp4.
Você pode tentar usar o ffmpeg diretamente, pois ele suporta a saída link
Algum tipo disso, pode ir:
ffmpeg -i rtsp://admin:[email protected]:554/ch1-s1 -c copy -map 0 -f segment -segment_time 600 -segment_format mp4 "out%03d.mp4"