É mais provável que não seja um problema de configuração no apache, php ou mysql, mas sim alguma outra atividade no servidor causando a lentidão periódica. Verifique se há outros processos em execução nessa janela em que o site está lento. Dado o ambiente que você mencionou, aposto que algo está sendo executado naquele servidor periodicamente, como um cron job fazendo um backup ou alguém executando o AWStats com muita retenção de logs.