Vários shells suportam setrlimit(2,3p) , como bash via ulimit . Veja help ulimit para mais detalhes.
Percebi que o Firefox às vezes usa muita memória. Pode algo como setrlimit ser usado para controlá-lo? Eu tentei usá-lo na linha de comando, mas não funcionou.