Eu fiz uma pesquisa rápida e parece que você não pode atribuir mais RAM a um aplicativo no OSX. O link explica como o OSX usa a RAM.
Qualquer chance de você esconder um pouco da malha de poli para ver se isso ajuda. Eu presumo que com uma imagem grande que também atrapalharia as coisas.