Para muitas aplicações, haverá pouca diferença.
O que faz uma grande diferença, porém, é que o x64 pode fazer uso adequado de grandes quantidades de memória além de 3,25 GB.
Portanto, se você tiver 4 GB de memória física, você obterá, efetivamente, cerca de 25% de RAM livre extra para nada, movendo-se para x64.
Eu passei de x86 XP para x64 Win7 (na mesma máquina), então não é uma comparação real. Mas parece muito mais rápido.