Mesmo após as alterações sugeridas pela @etagenklo, você tem até dez servidores usando 128 MB de PHP RAM cada, além de outros 64 MB de RAM para a APC ... isso é mais do que 1G, antes de você levar em conta qualquer outra tipo de sobrecarga ou uso de RAM por processo.
Em um palpite, você precisa reduzir o uso de memória do seu aplicativo PHP; um limite de memória de 128 MB é um limite , não uma alocação difícil, então você está realmente usando uma grande quantidade por processo. Uma ferramenta como o XHProf ou o TraceView pode ajudá-lo a identificar aonde toda essa RAM está indo. Caso contrário, definir pm.max_children = 4
deve mantê-lo abaixo de 512 MB, mesmo no caso patológico.
Claro, outra solução para isso é simplesmente obter um servidor maior. Quantas horas você gastou ou vai gastar isso com a depuração? Quanto vale o seu tempo? Quanto custa um pouco mais de memória?