Netbeans é uma aplicação Java, você pode limitar o quanto o JRE usa em Painel de Controle - > Java .
Na guia Java , insira -XmxNM
como suas configurações de tempo de execução para seu JRE atual, em que N
é a quantidade de memória em MB que você deseja disponibilizar para a JVM.
exemplo: