Eu fiz recentemente o mesmo que você no Windows Server 2008 com o mesmo resultado quando usei o Mercurial 1.9.1. No entanto, a mudança para uma versão mais antiga do Mercurial funcionou para mim (não estou 100% no número da versão, mas acho que foi 1.8.1)
Você baixou a versão 1.8.1 do hgwebdir_wsgi.py e regenera a dll quando instalou a versão mais antiga do Mercurial?
Outros possíveis problemas: Você se lembrou de habilitar extensões de 32 bits no IIS? O python está no seu caminho? Você pode executá-lo a partir de um prompt de cmd de qualquer pasta?
Editar: Eu segui estes > instruções e eles são os que não trabalharam para 1.9 e trabalharam para 1.8.1. Comparando-os com as instruções que você seguiu, posso ver um passo diferente: ele diz para baixar o código fonte do Mercurial e compilá-lo (sua página de referência refere-se ao uso da instalação original, mas não à compilação)