Atrasos como este geralmente são causados por pesquisas reversas de DNS (ou seja, a resolução de um endereço IP para um nome de host).
Você tem HostNameLookups ativado na configuração do apache? Em caso afirmativo, desligue-o.
Veja também link para outras dicas sobre como desabilitar a resolução do nome do host no apache.