Estes são os pontos de partida para verificar se você tem um servidor lento:
- Você instalou o APC? O APC é um 'compilador' para PHP e fará com que seus scripts sejam até 300% mais rápidos. Você pode verificar se o APC está sendo executado com o phpinfo.
- Analise suas consultas do MySQL. Ative o profiler de consulta do wordpress para isso (isso é específico do wp). Dez consultas com tempo de execução abaixo de 1 segundo ainda causarão um grande atraso.
- Analise o uso de memória do seu servidor. Use o comando linux
top
para isso. Você pode diminuir o uso de memória evitando carregar o PHP para conteúdo estático. Você pode usar FastCGI para isso, ou Nginx com PHP-FPM, ou apenas Nginx como servidor de conteúdo estático.
Se você tiver analisado e corrigido o (s) problema (s), poderá aumentar ainda mais o desempenho adicionando caches extras, como supercache ou Verniz do WP.