O problema é que você provavelmente configura o sistema de arquivos de imagem como APFS para que possa ser lido apenas pelo High Sierra agora.
Eu mesmo não tenho High Sierra, mas eu já encontrei alguns dmg na internet que não posso abrir e eles são novos. Então, eu acho que eles foram criados na High Sierra também.
Retorne para High Sierra e verifique o sistema de arquivos da imagem. E tente mudar isso. Provavelmente você precisará criar uma nova imagem.
No El Capitan, quando você cria um dmg , o sistema de arquivos padrão é o Mac OS Extended Journaled.