Isso informará onde seu site está ficando mais lento e tentará corrigir isso usando o plug-in. O Google também tem o link que também fornece algumas informações sobre como aumentar a velocidade do servidor.
Sem realmente ver o seu site, será impossível saber exatamente o que poderia estar retendo-o, mas geralmente são imagens.