Tudo bem, então não sei por que diabos isso funcionou. Mas este computador que eu estou usando teve muitos usuários anteriores, então eu tinha 9 jdks instalados, uns 64bits x86. Então imaginei que poderia me livrar de todas as instalações do x86 porque eu tinha motivos para acreditar que o netbeans estava rodando uma dessas instalações do x86 jdk (o que era), porque eu não estava nem conseguindo mais do que 4gb de ram uso quando eu estava transbordando meu espaço de pilha ao tentar encontrar um bug.
De qualquer forma, resumindo a história, agora ela mostra uma memória de 12GB retificada instalada na página Sistema do painel de controle, sem sub-texto sobre como apenas uma certa quantidade está disponível. Tudo a partir da desinstalação de alguns JDKs e reinicialização .... muito estranho.
As configurações no dxdiag são as mesmas de quando eu chequei antes também. Mas ei, o que quer que funcione = D
Obrigado por todas as sugestões! especialmente o comando dxdiag, eu não tinha conhecimento disso antes disso.