/etc/security/limits.conf é processado pelo módulo pam_limits PAM e é usado para atribuir limites de recursos para uma sessão de usuário. Eles serão aplicados somente quando o PAM e o módulo pam_limits forem usados durante a configuração da sessão.
No seu sistema, o utilitário su pode não estar configurado para usar o módulo pam_limits (consulte o arquivo /etc/pam.d/su.conf ) ou o usa apenas ao criar uma nova sessão de login (chamado com - , -l ou --login opção).
Tente usar
su - nobody -c 'ulimit -Hn'
ou adicionando
session required pam_limits.so
Para /etc/pam.d/su ou / e /etc/pam.d/su-l .
Também pode ser o caso, que o seu utilitário su não seja compilado com o suporte do PAM. Nesse caso, nunca usará o arquivo limits.conf .