Acho que você pode usar algo semelhante a:
# sysctl -w kern.maxfiles = nr
# sysctl -w kern.maxfileperproc = nr
Para torná-lo persistente edite /etc/sysctl.conf assim
kern.maxfiles=nr
kern.maxfileperproc = nr
O método posterior precisa ser reinicializado ou recarregado via sysctl.
Você também pode precisar aumentar as configurações de ulimit para usuários comuns:
ulimit -S n nr