O melhor é remover plug-ins desnecessários que seu site não precise. Eu tive o problema, por um plug-in que me impediu de escrever qualquer novo post, removendo esse plug-in fez tudo correto e resolveu o meu problema.
se você puder - solicitar um arquivo de log do seu provedor de hospedagem, para que você possa ver quais coisas no seu wordpress (na verdade, o FTP) tornam o seu site mais lento.
Você também pode olhar para o seu tema - ele é gerado para funcionar efetivamente no Wordpress e em qual versão do Wordpress - diferentes versões e temas que não são compatíveis também podem atrasar o site algumas vezes.
Certifique-se no front-end - visualizando o site, você não tem nada como flash ou menus pop-up - que tem que carregar e tem que abrir quando o espectador faz algo no site. Isso também pode atrasar as coisas.
Espero que este seja um pequeno guia para ajudá-lo.