Um arquivo iso de 4,7 GB não é um arquivo de vídeo, mas um arquivo de imagem de DVD. Você deve ser capaz de montar o iso
mount -o loop ISOFILE MOUNTPOINT
Você ainda terá que extrair as informações de AV, que estão organizadas em capítulos em um DVD e criar um fluxo de vídeo a partir disso.
Haverá alguma pesquisa e trabalho, mas os melhores resultados podem ser obtidos com avconv .