Você observou essa latência para outros serviços de rede ou apenas HTTP?
Você pode verificar a latência com o comando ping em outro laptop / servidor na sua rede.
Você também pode verificar a hora de realizar uma solicitação de DNS: time nslookup www.ubuntu.com
Você poderia verificar sua configuração de rede ( ifconfig -a , route )
Você também pode limpar o cache do navegador, os cookies e assim por diante ... antes de fazer os testes.