Fora da caixa, o IIS 7 funcionará bem. Não deve haver nenhuma configuração de desempenho necessária para que seja executada como a caixa IIS5.1. Existem alguns ajustes incrementais que podem ser feitos, como desligar os módulos que não são necessários, ativar a compactação e coisas assim, mas eles provavelmente não estão relacionados à diferença de desempenho que você está percebendo.
Deve haver algo mais em jogo. Alguma chance de o banco de dados estar fazendo uma chamada remota, ou você tem um código que pode estar procurando por uma dependência que não existe e que precisa ser desativada primeiro?
Uma boa maneira de reduzi-lo é criar algumas páginas .htm e .aspx simples e ver se você percebe a mesma coisa, depois começar a adicionar ao seu site até descobrir o que causa a diferença de desempenho. Se você puder rastrear quais páginas são mais lentas, isso deve oferecer algumas dicas valiosas.