Se o seu programa for um programa de 32 bits, ele não poderá usar mais de 4 GB, independentemente do processador ou sistema operacional em que você o executar ...
Você tem certeza de que seu programa é compilado como 64 bits e está sendo executado em um sistema operacional de 64 bits?
É difícil dizer a partir da pergunta, mas você espera executar algum software de prateleira e usar mais de 4 GB de RAM? Isso não funcionará a menos que seja especificamente compilado para 64 bits, o que a maioria dos softwares Windows não é.