Alguns dias atrás eu tive um problema parecido, quando alguns mestres do php5-fpm geravam muitos processos. OOM Killer ajudou muito ao matar o nginx.
Como solução, encontrei o mecanismo cgroup com subsistema de memória . Permite colocar todos os processos de FPM num grupo, o qual está limitado a, e. 60% da RAM do sistema.
Ótima documentação: link