Se você tiver diretivas de acesso como allow e order enabled o apache tentará verificar cada ip que se conecta a ele e também tentará resolver o endereço IP do cliente para hostname e resultados para o atraso que você acabou de descrever.
Você pode, por favor, verificar os logs do apache e se o apache está logando pelo endereço IP ou hostname?