Download recursivo ('wget -r') equivalente para o Firefox?

Question

Eu tenho um site e quero fazer o download de todas as páginas / links desse website. Quero fazer um wget -r neste URL. Nenhum dos links fica "fora" desse diretório específico, então não estou preocupado em fazer o download de toda a internet.

Como se constata, as páginas que eu quero estão por trás da seção protegida por senha do site. Embora eu possa usar o wget para fazer manualmente essa negociação de cookies, seria muito mais fácil para mim "fazer login" no navegador e usar algum plugin do firefox para baixar recursivamente tudo.

Existe uma extensão ou algo que me permita fazer isso? Muitas extensões se concentram em obter mídia / imagens da página (heh. Heh.), Mas estou interessado em todo o conteúdo - HTML e tudo mais.

Sugestões?

Obrigado!

Editar

DownThemAll parece uma sugestão legal. Pode fazer um download recursivo ? Como em, baixe todos os links da página e baixe todos os links contidos em cada uma dessas páginas, etc? Então, eu basicamente espelhei a árvore de diretórios inteira seguindo os links? Tipo como a opção -r de wget ?

    

Answer 1

O DownThemAll não faz o download recursivo. Ele só pega links da página atual. Apenas a página HTML dos URLs vinculados é baixada. As imagens e mídia das páginas vinculadas não são baixadas.

    

Answer 2

SpiderZilla é feito para isso - mas é um pouco antigo (2006)

Baseia-se na copiadora do site HTTrack . copiadora do site HTTrack . Que tem versões atualizadas para todas as plataformas.

Há também outro addon antigo que pode permitir que você faça o plug-in ' wget ' (entre outras coisas).

No entanto, também sinto que o DownThemAll é provavelmente uma boa escolha.
Se você sabe o que deseja espelhar, selecionar os links certos não deve ser um problema.
E você sempre pode marcar a caixa de seleção "Todos".

Então, +1, para DownThemAll se você quiser manter o navegador.
E, use HTTrack se você quiser uma ferramenta autônoma (e wget não é útil).

Atualização: você também pode querer ver os votos do HTTrack com essa pergunta de recompensa, Como posso baixar um site inteiro .

    

Answer 3

Você pode usar wget -r com cookies do navegador, extraídos após a autorização.

O Firefox tem a opção "Copiar como cURL" no menu de contexto da solicitação de página na guia Rede do Web Developer Tools, tecla de atalho Ctrl + Shift + Q (pode ser necessário recarregar a página depois de abrir as ferramentas):

Substitua o sinalizador de cabeçalho do curl -H pelo --header do wget e você terá todos os cabeçalhos necessários, incluindo cookies, para continuar a sessão do navegador com o wget.