Use soquetes unix, em vez de TCP / IP. Então, você faria algo como:
listen = /tmp/php.sock
Se você não quiser fazer algo assim, verifique suas regras de firewall. Se você estiver usando qualquer tipo de regra conntrack, você poderia facilmente estar preenchendo a tabela para isso. Veja se há alguma mensagem de log em dmesg
sobre isso. Você não deveria estar usando o conntrack em um servidor de alta carga, então desabilitar isso provavelmente é uma boa idéia.
Além disso, verifique suas configurações de ulimit
. Se o número de arquivos abertos estiver definido muito baixo, você poderá encontrar problemas.