Você pode definir o argumento maxmem boot para o limite de memória desejado em MebiBytes e, em seguida, reinicializar.
Primeiro, veja quais argumentos de inicialização você já tem:
nvram boot-args
Então, supondo que você não tenha nenhum (este é provavelmente o padrão), apenas adicione o maxmem boot-arg. Veja como configurá-lo para 8GiB:
sudo nvram boot-args="maxmem=8192"
… depois reinicie.
Você pode excluir a variável de ambiente de tempo de inicialização boot-args mais tarde assim:
sudo nvram -d boot-args