Ponteiros de memória de 64 bits e outras estruturas de dados relacionadas são duas vezes maiores que suas contrapartes de 32 bits. Além disso, um thread de trabalho de 64 bits incorrerá em uma penalidade toda vez que tiver que acessar códigos de 32 bits ou DLLs conforme alterna os modos. (Pesquisa WoW64 e thunking.)
A maior (mas não a única) vantagem de usar 64 bits é a capacidade de endereçar muito mais memória. Se o pool de aplicativos não usar mais de 2 ou 3 gigabytes de memória, e você não precisar executar especificamente o código de 64 bits, provavelmente não há um motivo convincente para você ir para o 64-bit. À medida que a tecnologia avança, os fabricantes de chips estão fazendo registros adicionais de CPU, especialmente para processadores de 64 bits, para melhorar seu desempenho, mas, em geral, não há aumento de desempenho mágico apenas para usar mais bits. De fato, como você acabou de testemunhar, pode ser pior.
64 bits = Abrams Tank
32 bits = Toyota Prius
Pode-se fazer muito mais trabalho, mas o outro pode caber através do drive-through do McDonald's.