Se o seu programa estiver sendo executado como root, as entradas limits.conf adicionadas não serão aplicadas. "*" aplica-se a todos os usuários, exceto root.
Se o seu programa estiver sendo executado como root, adicione o seguinte:
root hard core unlimited
root soft core unlimited
Além disso, certifique-se de que o SELinux não esteja impedindo a gravação do dump principal.
getenforce
Se o SELinux estiver em execução, verifique se a auditoria está em execução, tente obter o dump principal e faça:
grep -i denied /var/log/audit/auditd