Use ulimit -d $SIZE_IN_KB
para limitar o segmento de dados do shell bash atual e o que você iniciar a partir dele. help ulimit
no bash fornece a documentação.
ETA: Se você quiser limitar todo o sistema, defina mem=1G
como um parâmetro de inicialização no grub ( doc ).