Se estiver no Windows, pode ser um arquivo corrompido no cache do navegador. Seu navegador ligará do cache antes de tentar o servidor. Pode depender da sequência em que você abrir sites ou se você tiver guias de pré-carregamento, um site padrão, como webmail etc. O Chrome também tem uma coisa de pré-carregamento. Se você segurar a tecla Shift quando clicar em Recarregar, ela será obtida do servidor. Se isso ajudar, limpe os caches do navegador.
Você pode redefinir seu roteador para garantir que ele não seja confuso. Certifique-se de não superaquecer também.
Você pode querer fazer uma varredura de sistema com um scanner online para garantir que você não tenha algum tipo de vírus. Mas novamente - isso é uma coisa do Windows.
E você pode experimentar o DNSJumper gratuito. Ele permite que você experimente com servidores DNS e teste sua velocidade. Também permite a troca fácil de DNS, o que pode ser vantajoso se você encontrar um melhor para o exterior e outro para a UE.
E às vezes pode ser algo como um roteador fragmentado que seu ISP está usando para se conectar no exterior. Você pode usar uma ferramenta Traceroute on-line e ver onde as defasagens estão acontecendo. Mudanças de DNS podem ajudar dependendo de onde está o atraso.
Espero que ajude ...