Você precisa dar uma olhada em "Programação Avançada no Ambiente UNIX". Este livro detalha as etapas necessárias para ajudá-lo a alcançar o que você está tentando. Qualquer criança clonada / bifurcada de um processo herdará os limites do pai. Você tem duas opções aqui como eu vejo: uma que você pode definir especificamente os rlimits depois que a criança é criada (não tão legal) ou você pode fazer a mágica dupla para criar um novo grupo de processos e líder de sessão que herdará apropriadamente os limites definido no sistema.