Você pode usar lsof para ver quais arquivos estão abertos (apt-get install lsof no linux baseado em Debian)
Listar arquivos abertos pelo usuário root :
lsof -u root
Listar arquivos abertos por proc xxx:
lsof -p xxx
Mostrar o número de arquivos abertos por proc xxx:
lsof -p xxx | wc -l
Quando você altera ulimit, não tenho certeza se o processo ao vivo aceita o novo valor.
Verifique também seu /etc/security/limits.conf
. Pode definir um limite superior a 5000 por padrão. Observe que ulimit Limita os recursos do usuário e se o seu NAS iniciar cada processo sob o mesmo usuário, 5000 não parecerá tão alto.