Estou usando o Squid , um programa de cache para armazenar meu site em cache. No entanto, para fazer isso, parece que cada página deve ser acessada pelo menos uma vez antes que o Squid possa armazená-la em cache. Minha pergunta é, existe um programa que irá rastrear rapidamente através do meu site, acessar todas as páginas uma vez para que o Squid possa armazená-las em cache.
Felicidades
Você pode usar o wget para isso. Depois de definir a variável de ambiente http_proxy para apontar para seu proxy, execute-a com opções semelhantes às abaixo (comandos linux abaixo).
export http_proxy=http://127.0.0.1:3128/
wget --cache=off --delete-after -m http://www.mywebsite.org
Tags cache squid web-crawler