Em situações como a sua, eu executei ps aux
do cron a cada minuto para que eu pudesse olhar para trás e encontrar o hog de memória. Coloque o seguinte no seu crontab:
* * * * * (date ; ps aux) >> $HOME/ps-aux
Cuidado: isso pode criar um arquivo de log grande ao longo do tempo.
Após sua próxima falha, você pode olhar para trás através do arquivo procurando por processos que usam muita memória (as colunas "% MEM", "VSZ" e "RSS" seriam onde procurar).