É possível que na verdade não seja o apache que leva tanto tempo para a solicitação ser veiculada, mas que você encontre algum outro limite já definido no sistema operacional.
Dê uma olhada no que o netstat lhe dá sobre o número de conexões aceitas, é muito possível que você encontre grandes diferenças no número de pedidos que o apache vê (e, portanto, está atendendo dentro do prazo que o apache conhece) e número de solicitações que o sistema operacional já pode atender.
netstat -tulpen
pode ser de ajuda aqui. Também dê uma olhada no que o sysctl diz sobre os limites, ou talvez até o iptables.
Me desculpe, não consigo me lembrar de nenhum detalhe desde que já faz um bom tempo desde que me deparei com esses problemas.