Não é necessariamente desempenho, é endereçamento de memória. Se você vai usar muita memória, você vai querer a opção de 64 bits. Se for menos de 4 gig, 32 bits funcionará bem, contanto que você esteja executando programas de 32 bits.
Dada a quantidade de memória que você cita, não importa. O ajuste do processador será menos preocupante do que o acesso ao disco, a arquitetura do design do aplicativo e a velocidade da rede. A diferença de desempenho do seu processador seria como se preocupar com o peso que os revestimentos de pano do seu carro afetam a economia de combustível do seu carro, ignorando a pressão dos pneus, o comportamento de direção e o aprimoramento do motor.