Você pode fazer isso com o Handbrake , que vem em ambos os sabores de GUI e CLI e usa o ffmpeg no back-end para fazer a transcodificação.
HandBrakeCLI -Z "High Profile" -i a_movie.iso -o a_movie.mp4
Alternativamente, se você tiver algum voodoo FFmpeg que você não pode replicar facilmente no HandBrakeCLI, você pode montar o ISO localmente e copiar a pasta VIDEO_TS até o servidor no qual você quer fazer a conversão.