De acordo com a sugestão de @ jeremy-cook
Copiando minha resposta:
Depois de mais alguns testes, acho que isso está relacionado à arquitetura de x64 bits. Se eu configurar o AppPool no IIS 8.5. para executar como 32 bits tudo é rápido como no computador IIS 7.