ulimit -n
exibe o número máximo de descritores de arquivos abertos, não o número máximo de conexões de rede. Você pode querer usar lsof -p <PID_OF_node.js>
para descobrir quais arquivos ele abriu. Meu palpite é que seu código node.js tem algumas falhas de lógica.