Talvez seja um problema de DNS, mas o seu roteador está lidando com isso. Muitas vezes, o roteador hospedará um proxy ou um resolvedor leve para o qual você enviará todas as suas solicitações.
Primeiro, veja se você pode fazer o ping do IP do seu roteador quando esse problema aparecer. Isso dirá se é conectividade ou resolução de nomes.
Segundo, se você puder fazer ping, altere o DNS do seu computador para 8.8.8.8 (servidores DNS do Google) e veja se isso faz com que você fique por perto. Se sim, então é certamente o sistema DNS do seu roteador.