Conforme a documentação, a MS recomenda a execução de pools de aplicativos de 32 bits no servidor de 64 bits, já que um aplicativo Web não deve usar mais memória (internamente).
Aplicativos de 32 bits têm sempre mais desempenho - ponteiros menores significam menos memória necessária para um conjunto específico de instruções, o que significa melhores taxas de acesso ao cache.
Processosde 64 bits fazem apenas sentido limitado - quando um processo realmente precisa de mais memória. se você mantiver seu front-end da web fazendo exatamente isso (front end), não há razão para precisar de muita memória;)
No topo, faz sentido atualizar para versões com maior desempenho. O IIS6 consumiu muito tempo no desempenho - o IIS 7.5 é muito melhor, especialmente se você executar código ASP.NET / gerenciado.