Use ulimit -d $SIZE_IN_KB para limitar o segmento de dados do shell bash atual e o que você iniciar a partir dele. help ulimit no bash fornece a documentação.
ETA: Se você quiser limitar todo o sistema, defina mem=1G como um parâmetro de inicialização no grub ( doc ).