Você precisa definir o soft core também. Existem dois conjuntos de limites. Na página do manual:
# cat /etc/debian_version
6.0.1
# man limits.conf:
<type>
hard
for enforcing hard resource limits. These limits are set by the superuser and enforced by the Kernel. The user cannot raise his requirement of system resources above such values.
soft
for enforcing soft resource limits. These limits are ones that the user can move up or down within the permitted range by any pre-existing hard limits. The values specified with this token can be
thought of as default values, for normal system usage.
-
for enforcing both soft and hard resource limits together.
Você pode simplesmente mudar 'hard' no seu limits.conf para '-' e isso deve ser corrigido. Ou você pode ser mais detalhado e adicionar uma linha específica para soft (talvez configurá-lo menor).