Você pode limitar o uso da memória por um script Bash, fazendo o seguinte.
Limite o uso de memória por kb (2GB neste exemplo):
ulimit -m 2048000
Limite o uso de memória virtual:
ulimit -v 2048000
Defina o limite de memória virtual como limite máximo, para que o processo seja eliminado quando exceder esse limite:
ulimit -H -v
Acho que isso pode fazer o que você quer.