Você pode definir o argumento maxmem
boot para o limite de memória desejado em MebiBytes e, em seguida, reinicializar.
Primeiro, veja quais argumentos de inicialização você já tem:
nvram boot-args
Então, supondo que você não tenha nenhum (este é provavelmente o padrão), apenas adicione o maxmem
boot-arg. Veja como configurá-lo para 8GiB:
sudo nvram boot-args="maxmem=8192"
… depois reinicie.
Você pode excluir a variável de ambiente de tempo de inicialização boot-args
mais tarde assim:
sudo nvram -d boot-args