Você precisará ajustar e ajustar até encontrar seu ponto ideal, mas "pm.max_requests = 100" parece muito baixo. Algo como 500 ou 1000 ou talvez mais, pode ser melhor. Fastcgi terá que matar e reaparecer as crianças depois que cada uma delas servir pm.max_requests.
A memória do PHP não deve impactar diretamente a velocidade e é a mesma para ambos os alvos de teste ou o seu, mas "memory_limit = 16m;" é baixo. Comece em 256M. Você tem 4GB de RAM, então por que limitar o PHP a um máximo de 16mb?