Acontece que /etc/security/limits.conf
funciona, mas precisa ser reinicializado antes de ser interpretado. Um logout não é suficiente.
Eu recomendo a qualquer pessoa um limite para o arquivo de configuração como
user hard nproc 512
Substitua user
por qualquer nome de usuário que você queira limitar.
Ou melhor:
@group hard nproc 512
Substitua group
por qualquer grupo de usuários que você deseja limitar.