Pelo que vejo usando as ferramentas de desenvolvedor do Google Chrome, seu site demora muito para veicular o HTML inicial da página solicitada. Posso dizer que isso não é um problema de DNS porque, mesmo se fosse, apenas a primeira página solicitada seria lenta. O cliente armazena em cache a resposta do DNS por um curto período de tempo, portanto, não seria lento na solicitação da segunda página.
Não sei muito sobre o wordpress, mas vejo um comportamento semelhante do Drupal quando todo o cache do lado do servidor está desabilitado. Você pode querer verificar se o cache está ativado e não há problema com o módulo de cache que você está usando.