Netbeans é uma aplicação Java, você pode limitar o quanto o JRE usa em Painel de Controle - > Java .
Na guia Java , insira -XmxNM como suas configurações de tempo de execução para seu JRE atual, em que N é a quantidade de memória em MB que você deseja disponibilizar para a JVM.
exemplo: