Não há formas diretas para isso. Mas você pode criar facilmente um plugin nagios para isso (mas não apenas para nagios, também para qualquer software de monitoramento e alarme do sistema que você esteja usando).
Se você não usa nenhum, você pode criar um script cron para isso também.
Para a linha de comando mostrar os processos que usam mais memória, verifique esta resposta.