O que provavelmente está acontecendo é que você tem vários servidores DNS configurados (seja diretamente através do DHCP ou o servidor DNS para o qual você está apontando tem), e o primeiro servidor DNS está expirando - o que leva um tempo - a solicitação é então enviado para o segundo servidor que responde e a página é carregada.
Como afirmado pelo @Keltari, a solução é corrigir o problema com os servidores DNS. Se você não se importar com o rastreamento do Google, definir o servidor principal como 8.8.8.8 tornará as coisas mais rápidas, mas o ideal é rastrear o servidor que não está respondendo e removê-lo da configuração.