Como posso baixar todas as páginas de um site?
Qualquer plataforma está bem.
O HTTRACK funciona como um campeão para copiar o conteúdo de um site inteiro. Esta ferramenta pode até mesmo pegar as peças necessárias para fazer um site com conteúdo de código ativo funcionar offline. Estou espantado com as coisas que podem replicar offline.
Este programa fará tudo o que você precisar.
Caça feliz!
Wget é uma ferramenta clássica de linha de comando para esse tipo de tarefa. Ele vem com a maioria dos sistemas Unix / Linux, e você pode obtê-lo para o Windows também. Em um Mac, o Homebrew é a maneira mais fácil de instalá-lo ( brew install wget ).
Você faria algo como:
wget -r --no-parent http://site.com/songs/
Para mais detalhes, consulte Manual do Wget e seu examples ou por ex. estes:
Use o wget:
wget -m -p -E -k www.example.com
As opções explicadas:
-m, --mirror Turns on recursion and time-stamping, sets infinite
recursion depth, and keeps FTP directory listings.
-p, --page-requisites Get all images, etc. needed to display HTML page.
-E, --adjust-extension Save HTML/CSS files with .html/.css extensions.
-k, --convert-links Make links in downloaded HTML point to local files.
Você deve dar uma olhada no ScrapBook , uma extensão do Firefox. Ele tem um modo de captura detalhada .
O Internet Download Manager tem um utilitário Site Grabber com muitas opções - o que permite que você baixe completamente qualquer site que quiser, o caminho você quer isso.
Você pode definir o limite do tamanho das páginas / arquivos para fazer o download
Você pode definir o número de sites de filiais para visitar
Você pode alterar a maneira como os scripts / popups / duplicates se comportam
Você pode especificar um domínio, somente sob esse domínio todas as páginas / arquivos que atendem às configurações necessárias serão baixadas
Os links podem ser convertidos em links off-line para navegação
Você tem modelos que permitem escolher as configurações acima para você
No entanto, o software não é gratuito - veja se ele atende às suas necessidades, use a versão de avaliação.
itsucks - esse é o nome do programa!
Eu gosto do Explorer off-line .
É um shareware, mas é muito bom e fácil de usar.
Eu não fiz isso em muitos anos, mas ainda existem algumas utilidades por aí. Você pode querer tentar Web Snake . Eu acredito que usei isso anos atrás. Lembrei-me imediatamente do nome quando li sua pergunta.
Concordo com Stecy. Por favor, não martele seu site. Muito ruim.
Vou abordar o buffer on-line que os navegadores usam ...
Normalmente, a maioria dos navegadores usa um cache de navegação para manter um pouco os arquivos dos quais você faz o download de um site, para que você não precise baixar imagens estáticas e conteúdo repetidamente. Isso pode acelerar bastante as coisas em algumas circunstâncias. De um modo geral, a maioria dos caches do navegador é limitada a um tamanho fixo e, quando atingir esse limite, excluirá os arquivos mais antigos no cache.
Os ISPs tendem a ter servidores de armazenamento em cache que mantêm cópias de sites comumente acessados, como ESPN e CNN. Isso poupa o trabalho de acessar esses sites toda vez que alguém em sua rede vai até lá. Isso pode significar uma economia significativa na quantidade de solicitações duplicadas para sites externos ao ISP.
WebZip também é um bom produto.
Experimente o BackStreet Browser .
It is a free, powerful offline browser. A high-speed, multi-threading website download and viewing program. By making multiple simultaneous server requests, BackStreet Browser can quickly download entire website or part of a site including HTML, graphics, Java Applets, sound and other user definable files, and saves all the files in your hard drive, either in their native format, or as a compressed ZIP file and view offline.
Teleport Pro é outra solução gratuita que irá copiar todos os arquivos de qualquer que seja o seu alvo (também tem uma versão paga que permitirá que você puxe mais páginas de conteúdo).
DownThemAll é um add-on do Firefox que fará o download de todo o conteúdo (áudio ou vídeo arquivos, por exemplo) para uma determinada página da Web em um único clique. Isso não faz o download do site inteiro, mas isso pode ser algo que a pergunta estava procurando.
Para Linux e OS X: eu escrevi site de captura para arquivar sites inteiros para WARC . Esses arquivos WARC podem ser navegados ou extraídos. O grab-site permite controlar quais URLs ignorar usando expressões regulares, e elas podem ser alteradas quando o rastreamento estiver em execução. Ele também vem com um extenso conjunto de padrões para ignorar URLs de lixo eletrônico.
Há um painel da web para monitorar rastreamentos, além de opções adicionais para ignorar conteúdo de vídeo ou respostas em um determinado tamanho.
O venerável FreeDownloadManager.org também tem esse recurso.
O Free Download Manager tem duas formas em duas formas: Site Explorer e Site Spider :
Site Explorer
Site Explorer lets you view the folders structure of a web site and easily download necessary files or folders.
HTML Spider
You can download whole web pages or even whole web sites with HTML Spider. The tool can be adjusted to download files with specified extensions only.
Acho que o Site Explorer é útil para ver quais pastas incluir / excluir antes de tentar baixar o site inteiro - especialmente quando há um fórum inteiro escondido no site que você não deseja baixar, por exemplo.
Enquanto o wget já foi mencionado, este recurso e a linha de comando foram tão simples que achei que merecia ser mencionado:
wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/
Acredito que o google chrome pode fazer isso em dispositivos de desktop, basta acessar o menu do navegador e clicar em salvar página da web.
Observe também que serviços como o pocket podem não salvar o site e, portanto, são suscetíveis a erros de link.
Por fim, observe que a cópia do conteúdo de um site pode infringir direitos autorais, se aplicável.
O Firefox pode fazer isso de forma nativa (pelo menos FF 42 pode). Basta usar "Salvar página"
