Correto, o comando ulimit não altera os limites dos programas em execução, tanto quanto eu sei. Você pode no entanto chamar set_rlimit e amigos de um programa em execução. Você também pode querer olhar para coisas de controle de recursos, man rctl
, mas isso requer reconstruir seu kernel.