Temos drenos heroku sendo despejados em um servidor de log. Existem muitas instâncias (~ 100) enviando seus logs para este servidor usando o TCP. O servidor filtra os logs com base no nome do host e os coloca em um diretório nomeado com o nome do host. Tudo funciona bem por um tempo, mas notei quando eu verificar os descritores abertos com lsof ele pára depois de atingir 1047. Além de gravar em logs em diretórios separados, cada comando de log é registrado em um arquivo syslog.log. Este arquivo continua a ser atualizado depois que o 1047º FD é aberto. É por isso que acho que tem a ver com a impossibilidade de abrir mais descritores de arquivos. Como posso resolver este problema?
O problema é muito comum. Os limites de processo padrão com a maioria dos sistemas prontos para uso não fazem muito sentido para o hardware moderno.
A página man do limits.conf no seu sistema operacional deve apontar você na direção correta.
Muitas distribuições do Linux para o arquivo de configuração estão em
/etc/security/limits.conf
Esta questão aborda o problema mais geral.
Descritores máximos de arquivos abertos práticos (ulimit -n) para um sistema de alto volume