wget
--mirror
Alguém teria uma recomendação para um rastreador de site que pode ser invocado e equipado com configurações da linha de comando?
Isso precisaria ser executado em um ambiente Windows.
Salvar os dados, seguindo os links da folha de estilo, etc., não é um problema. Só preciso do rastreador para começar uma página, analisá-la e seguir todos os links no mesmo domínio para que, no final, todas as páginas do site tenham sido solicitadas uma vez.
Histórico: estou configurando um site da Web que é enviado com frequência a partir de um escritório. Combinando dados de várias fontes, possui vários níveis de armazenamento em cache. Não quero que o primeiro usuário visite o site após um novo upload para ter que esperar até que a página seja gerada e salva no cache.