Em primeiro lugar, todos os sites estão indisponíveis ou apenas alguns?
Se apenas alguns sites estiverem indisponíveis, o problema pode estar no fim.
Se todos os sites da web tiverem um problema, você deve considerar que o navegador precisa procurar primeiro o endereço IP do site, procurando o nome de um servidor DNS. Se não houver nenhum servidor DNS disponível, a pesquisa falhará.
Comece com o básico. Inicie um Prompt de Comando (em Iniciar > Execute > cmd.exe) e tente executar um ping em um dos sites com problemas:
ping www.sitename.com
Se o comando ping reportar algo como:
Ping request could not find host ...
... então você pode ter um problema de rede razoavelmente baixo.
Se, no entanto, o comando ping reportar respostas de algum sistema remoto, isso prova que sua conexão de rede e as pesquisas de DNS estão funcionando bem.
Então, a próxima coisa a verificar seria configurações de rede / proxy. Estes podem ser (mal) configurados no seu navegador, mas como você diz que todos os navegadores são afetados da mesma maneira, pode ser uma configuração do Windows.