Meu palpite é que você está atingindo o limite de MaxClients ao fazer o benchmarking do site.
Durante o benchmarking do site, tente ver quantas conexões são estabelecidas na porta 80:
netstat -tnap | grep ":80" | grep -c ESTA
Repita este comando algumas vezes enquanto estiver comparando o site. Provavelmente você estará atingindo 50 conexões estabelecidas.
Um aplicativo de tendência rrdtool (como Cacti, Munin ou Ganglia) representando graficamente o número de conexões TCP também é bom para depurar esse tipo de problema, como você pode ver no histórico.
Espero que isso ajude!