Você já tentou limpar o cache do seu navegador e navegar pelos links do site?
Talvez o cache do seu navegador esteja respondendo às suas solicitações http, e não ao próprio servidor da Web, e essa é a razão pela qual as páginas são carregadas rapidamente.
Uma situação diferente ocorre quando você aperta o botão de recarga. Ao fazer isso, seu navegador não veiculará a solicitação usando seu conteúdo em cache. Nesse caso, se não estiver errado, uma solicitação HTTP com a diretiva no-cache será gerada e o conteúdo precisará ser validado no servidor da web.
Para acessar o servidor da Web, seu navegador precisará resolver o nome do seu site para um endereço IP e acredito que aqui é onde reside o problema: DNS.
Observe quanto tempo sua máquina está levando para resolver o nome do seu site. Se estiver demorando muito, você encontrou seu problema.