Pré-busca e cache de solicitações HTTP no Squid ou em qualquer servidor proxy

Question

Existe um servidor proxy (preferencialmente Squid) ou software similar que me permitirá colocar em fila 100 URLs iniciais de uma lista ou API e armazenar em cache os dados HTML de forma transparente (fazendo solicitações paralelas).

Então, mais tarde, quando eu solicitar uma URL, ela fornecerá uma versão em cache rapidamente?

    

Answer 1

Com qualquer proxy de cache que você goste, você pode fazer o script das solicitações de aquecimento do cache - o proxy cuidará do cache das respostas de acordo com sua política (aloque armazenamento suficiente e defina uma retenção suficientemente durável).

Alguns scripts, no espírito do exemplo a seguir, funcionam bem para obter uma lista de URLs por meio do proxy:

#!/bin/bash
http_proxy=http://proxy.exemple.net:3128/; export http_proxy
for my_url in 'cat one_url_per_line_file' do
  wget -r -nd --delete-after $my_url
done