Infelizmente, é difícil dar uma resposta definitiva a essa pergunta sem mais detalhes.
Eu tenho alguns palpites:
Meu primeiro palpite é que o (s) seu (s) soquete (s) de trabalho do php5-fpm tem um backlog de escuta muito pequeno para sua carga. O tamanho da fila de pendências é 128 por padrão no Linux.
Para aumentar você deve:
- Aumentar o valor de
net.core.somaxconn
sysctl. - Aumentar a configuração de configuração
listen.backlog
php5-fpm.
Você pode tentar aumentar ambos para 2048, por exemplo, para ver se isso ajuda.
Meu segundo palpite é o limite máximo de descritores de arquivos abertos por processo dos trabalhadores nginx. A maneira correta de aumentá-lo depende da sua distribuição. No Ubuntu / Debian você deve dar uma olhada na configuração do arquivo /etc/default/nginx
e worker_rlimit_nofile
nginx.