Se você suspeitar que é um processo específico, basta iniciá-lo de dentro de um script bash, chamando ulimit -v N
first, onde N é a memória máxima virtual em kilobytes que você deseja fornecer antes do kernel mata. Você saberá o que é quando morrer;)
Você também pode tentar definir uma tarefa cron simples que acrescente a saída de ps
com parâmetros específicos (para memória) a um registro a cada minuto e analisada posteriormente.
Por fim, tente monit (em repos), que monitora processos e pode executar ações como matar, reiniciar, etc. quando limites específicos são excedidos.