Os limites definidos em /etc/security/limits.conf
aplicam-se apenas aos processos que passam pela pilha do PAM e têm o módulo pam_limits aplicado.
É provável que esses processos não passem pelo PAM.
Acho que você teria que descobrir de onde eles começaram e configurar manualmente o ulimit usando o comando ulimit
.