Parece que você está tentando executar um aplicativo de 32 bits, que (sem "trapacear" pelo sistema operacional) não conseguirá endereçar mais do que 4 GB de memória no total. Esse é um limite fixo e essencialmente o máximo. No entanto, dentro desse espaço de endereços disponível, o SO também tem que reservar outros tipos de endereços de memória, por exemplo, a memória de vídeo disponível da placa gráfica ou algumas áreas de memória fornecidas por outro hardware (como uma placa de som). Caso contrário, o código do programa não seria capaz de escrever lá, pois não seria capaz de alcançar essa memória.
Não há como ultrapassar esse limite, já que seu programa obviamente já é "large address aware", o que permite que ele use até 3.xx GB em vez dos programas de 32 bits mais antigos de 2 GB limitados a.
Os programas de 64 bits poderão usar mais do que aqueles 3.x GB (teoricamente até 8 GB).
Para ver a quantidade total de RAM instalada (e detectada / utilizada pelo Windows), simplesmente pressione Win + Break . Em "Sistema", listará a quantidade de RAM instalada / usada.