A primeira solicitação é lenta ou alguns objetos na página que você está veiculando são lentos depois que o HTML inicial é baixado? Você pode usar a guia "Rede" nas Ferramentas do desenvolvedor do Google Chrome (ctrl + shift + i), httpfox no Firefox ou pode tentar ativar o mod_log_forensic para determinar se todos ou apenas alguns objetos são lentos. Reduzir isso pode ajudar a determinar a causa.