Definitivamente, confirme que o seu httpd não está configurado para fazer pesquisas reversas, o que pode causar paralisações em vários segundos como este. Eu me deparo com isso o suficiente para que valha a pena excluir. Especificamente, a diretiva HostnameLookups e a sub-rotina% h para log podem causar esse comportamento. Tem mais também. Você pode verificar por tcpdumping no servidor durante o seu teste. Se você vir as pesquisas de PTR provenientes do servidor da Web para o seu endereço IP (ou qualquer endereço NAT pelo qual você esteja passando), esse é provavelmente o problema. Aqui está um bom resumo dos lugares para procurar:
Espero que isso ajude.