Como proceder para pré-armazenar em cache páginas da web normalmente visitadas diariamente no meu armazenamento de rede doméstica? [fechadas]

Question

Eu recentemente "cortei o cabo" e fiz um downgrade de internet a cabo (40 Mb / s) para DSL (5 Mb / s). É horrível, mas estou preso a isso por um ano. O que eu gostaria de fazer é pré-armazenar em cache tudo nas páginas que eu visito diariamente (no meu NAS) e tudo vinculado a essa página. A primeira página de HN por exemplo. Gostaria que todos os dispositivos da minha rede acessassem o mesmo cache (por isso, não há soluções de suplemento para navegadores, por favor). Eu gostaria que o cache limpasse automaticamente o conteúdo antigo (baseado na idade, tamanho do cache, etc.). Estou usando o Tomato no meu roteador.

Tenho certeza de que poderia descobrir como redirecionar solicitações no Tomato com um DNS personalizado e não seria muito difícil configurar um trabalho python para armazenar as páginas em cache, mas isso levaria um dia inteiro ou mais Tenho certeza.

Outros com internet lenta devem ter resolvido algo semelhante. Só não estou achando muito com os termos de pesquisa que estou usando. Alguém sabe de um tutorial sobre como configurar isso? Alguém tem alguma experiência em fazer algo parecido? Existem soluções chave na mão (comerciais ou não) por aí?

Eu percebo que as páginas estáticas estão ficando cada vez mais raras nos dias de hoje. Talvez este seja um esforço infrutífero. Um exemplo melhor seria pré-gravar os links de imagem do reddit ou algo assim.

Isso provavelmente entra em conflito com os termos / condições de alguns sites, mas estou planejando apenas fazer uma solicitação por dia.

    

Answer 1

Normalmente, o software de proxy também terá opções para armazenar em cache os resultados - algo como squid (sem afiliação, livre / open source) em execução no NAS (ou talvez no mesmo dispositivo que o tomate, se for bastante robusto) funcionaria e é praticamente turnkey, embora seja necessário configurar um script para pesquisar os sites que deseja armazenar em cache.

Você pode usar alguns wgets para fazer essa pesquisa, conforme descrito em Pré-carregar seu cache .

Você pode configurar todos os seus dispositivos para usar esse servidor proxy ou pode usar tomate como a nova instância do squid como um servidor proxy transparente. Existem algumas instruções para o dd-wrt em Proxy Transparente de Lula e as etapas devem ser semelhantes para o tomate .

Devo acrescentar que isso não funcionará (sem uma configuração mais extensiva) para sites HTTPS - o HTTPS foi projetado para resistir a ataques MITM, e o proxy atuaria como um MITM - para que o tráfego fosse criptografado por ele. tornando impossível armazenar em cache o conteúdo - você poderia contornar isso adicionando um certificado a ele e, em seguida, instalando seu certificado em seu navegador da Web, mas isso definitivamente não seria turnkey. Observe que isso é feito por empresas que desejam espionar o tráfego HTTPS de seus funcionários, de modo que o proxy possa visualizar o conteúdo.