Seu maior aumento de desempenho será através da utilização de RAM. Pode não ser tão perceptível com cargas de usuário baixas, mas sob alta utilização, se o processo de trabalho puder usar mais memória de uma só vez. Se um aplicativo exigir muita memória, os processos de trabalho de 64 bits devem ter um desempenho melhor.
Aqui está um artigo que fala sobre isso: link