Você pode usar o aplicativo Activity Monitor. Está localizado em /Applications/Utilities/Activity Monitor.app . E aqui está uma captura de tela com as colunas para uso de memória destacadas: 
No Mac OS X, como posso ver quanta memória está sendo usada por quais programas?
O MacOS é um UNIX. Assim, tem muitas ferramentas unix padrão, no seu caso, o programa top, que você pode executar em um terminal.