ulimit é um martelo. Será difícil matar o processo quando atingir o limite.
Você pode querer algo menos agressivo. (algo que faz um reinício gracioso) Dê uma olhada no monit. link
Aqui está um exemplo de configuração para o zope. link
Veja como usar as opções mem ou totalmem para acionar sua reinicialização.
Melhor da sorte.