As configurações especificadas em /etc/security/limits.conf
são aplicadas por pam_limits.so
( man 8 pam_limits
).
A pilha de pam só é envolvida durante a criação de uma nova sessão (login). Assim, você precisa fazer logout e voltar para as configurações entrarem em vigor.