Espelhando um site por trás de um formulário de login

Question

Versão resumida:

• Gostaria de tirar uma cópia off-line de uma URL que inclua as imagens HTML + CSS + JS + completas e salve-as localmente, mantendo a estrutura e o conteúdo do arquivo do site original.
• Estou com problemas com as ferramentas que posso encontrar (por exemplo, "Salvar Completa" extensão do Firefox, HTTrack, wget, Teleport Pro), em parte porque o URL está por trás de um formulário de login.

Versão mais longa:

Quando estou trabalhando no meu aplicativo, muitas vezes eu quero tirar uma versão off-line cheia de HTML + CSS + JS + para enviar para o designer com quem trabalho, quem faz as modificações e as envia de volta. Em seguida, aplico as alterações ao aplicativo.

Isso se mostrou muito mais eficiente do que navegar por nosso código com um aplicativo ao vivo, mas há um problema: não consigo encontrar um aplicativo de espelhamento que seja conveniente.

As extensões do Firefox, como "Salvar concluído", já têm o cookie de login, portanto, não importa se estão atrás de um formulário de login, mas manipulam os arquivos salvos localmente, tornando impossível trabalhar com eles.

Ferramentas de espelhamento como wget ou Teleport Pro não suportam nosso formulário de login.

O HTTrack, no entanto, deve ser executado em modo proxy para detectar as informações de login, mas nunca consegui fazê-lo funcionar. Como um substituto, ele pode aceitar cookies que eu insiro em seu arquivo cookies.txt, mas sempre me leva horas para fazer isso de forma confiável.

Todas as ferramentas, extensões de navegador, etc. que poderiam fazer isso? Código aberto, comercial - qualquer coisa. Se eu tenho abusado do HTTrack e é realmente trivial de fazer - essa é uma ótima resposta também.

    

Answer 1

Com o HTTrack, você pode ter um arquivo cookies.txt ao fazer o download. Eu usei para espelhar com sucesso um site moodle.

    

Answer 2

Eu fiz isso com sucesso com WinHTTrack . Você pode seguir o procedimento normal para capturar um site, com dois ajustes menores:

1. No Chrome, abra o Dev Tools e faça login no site que você precisa capturar. Na guia Rede, clique na página HTML que você solicitou para encontrar seu cookie de sessão (o nome dele será diferente dependendo da estrutura de backend usada). Coloque isso no HTTrack em "Cabeçalhos HTTP adicionais".

2. Verifique também se a string do agente do usuário corresponde, pois às vezes as sessões são bloqueadas se a string do agente do usuário for alterada.

   

3. Inicie o download do site. O resultado deve ser como se você estivesse logado.

Answer 3

Já experimentou o Explorador offline ?

Eu me lembro de algo como isso permitiria que você fizesse login, economizando cookies para as solicitações subsequentes e faria o resto. Não tenho certeza para 100% como eu estava usando muito tempo atrás.

    

Answer 4

O Teleport Pro permite o login e a senha a serem usados.

Quando você inicia um New Project Wizard, você chega a um ponto em que ele lhe dá essa opção (acho que está na terceira tela de opções).

E, mesmo que você tenha perdido, você poderá acessar essa opção novamente.

Na janela principal (depois de passar pelo Assistente de Projeto), clique com o botão direito do mouse no seu projeto (pequeno ícone de pasta exibindo o URL que você está tentando baixar, no painel esquerdo) e escolha a última opção Starting Address Properties e você É apresentada uma tela de opções onde você pode especificar um login de usuário e uma senha a serem usados naquele site.