Será bastante comum os aplicativos de 64 bits exigirem mais memória que os de 32 bits (variáveis maiores, ponteiros, etc.). Isto, e a implementação diferente da JVM entre os dois sistemas, poderia muito bem ser a razão.
Eu, pessoalmente, não acho isso estranho, então eu não consideraria isso um problema, a menos que o uso da memória tenha começado a aumentar como um problema de desempenho similar.