Por que você precisa montar o ISO? Em vez de instalar aplicativos desnecessários de terceiros no seu servidor, por que não usar apenas algo como o 7-zip para extrair o conteúdo do ISO?
Estou tentando montar um arquivo ISO no Windows Server 2008 sem sucesso. Eu tentei MagicISO, Daemon Tools e Pismo Disk Mounter, mas todos eles me dão algum erro ou outro. Eu estou supondo que isso é algum problema de segurança, mas não tenho certeza de como contornar isso. Alguém teve sorte com isso?
Você já tentou Virtual CloneDrive ?
Como alternativa, o 7-Zip pode abrir ISOs e extrair seu conteúdo.
Ambos freeware, eu os uso frequentemente, o VCD funciona no 2008 R2 SP1 para mim.
(Ainda assim, três programas não estão fazendo isso ... você tem certeza de que não é um ISO corrompido?)
Por que não usar a ferramenta da Microsoft ... link
Supondo que você não esteja executando o VMWare (no qual você pode montá-lo no vSphere), experimente o PowerISO. É o que eu uso e funciona bem.