Alternativas para wget

Question

Eu tenho um site em um servidor que é basicamente um monte de páginas HTML, imagens e sons.

Eu perdi minha senha para esse servidor e preciso pegar tudo o que está armazenado lá. Eu posso ir página por página e salvar tudo, mas o site tem mais de 100 páginas.

Estou usando o OSX. Eu tentei usar wget , mas acho que o servidor está bloqueando isso.

Existe alguma alternativa que eu possa usar para pegar esse conteúdo?

    

Answer 1

Se o servidor estiver bloqueando o wget, é mais provável que ele seja feito com base no campo "User-agent:" do cabeçalho http, já que essa é a única maneira de saber em primeiro lugar. Ele também pode estar bloqueando seu IP, caso em que usar software diferente não ajudará, ou algum esquema que identifique a automação com base no quão rápido um conjunto de solicitações é (já que pessoas reais não navegam em 100 páginas em 3,2 segundos) . Eu não ouvi falar de ninguém fazendo isso, mas é possível.

Eu também não ouvi falar de uma maneira de desacelerar o wget, mas há uma maneira de falsificar o campo do agente do usuário:

wget --user-agent=""

Irá de acordo com a página de manual "User-agent:" completamente, já que não é obrigatório. Se o servidor não gostar disso, tente --user-agent="Mozilla/5.0" , que deve ser bom o suficiente.

Claro, ajudaria se você explicasse melhor por que "acha que o servidor está bloqueando isso". O wget diz alguma coisa, ou apenas o tempo limite?

    

Answer 2

Eu costumo usar httrack para baixar / espelhar o conteúdo da web de um site.

$ httrack http://2011.example.com -K -w -O . -%v --robots=0 -c1 %e0

Após a execução, você fica com uma estrutura de diretórios local e navegável. Por exemplo:

$ ls -l
total 304
-rw-r--r--  1 saml saml   4243 Aug 17 10:20 backblue.gif
-rw-r--r--  1 saml saml    828 Aug 17 10:20 fade.gif
drwx------  3 saml saml   4096 Aug 17 10:20 hts-cache
-rw-rw-r--  1 saml saml    233 Aug 17 10:20 hts-in_progress.lock
-rw-rw-r--  1 saml saml   1517 Aug 17 10:20 hts-log.txt
-rw-------  1 saml saml 271920 Aug 17 10:22 hts-nohup.out
-rw-r--r--  1 saml saml   5141 Aug 17 10:20 index.html
drwxr-xr-x 10 saml saml   4096 Aug 17 10:21 2011.example.com

Ao fazer o download, você verá o seguinte tipo de saída:

Bytes saved:    21,89KiB           Links scanned:   12/45 (+4)
Time:   2s                         Files written:   4
Transfer rate:  2,65KiB/s (2,65KiB/s)  Files updated:   1
Active connections:     1          Errors:  7

Current job: parsing HTML file (57%)
 request -  2011.example.com/cgi-bin/hostnames.pl   0B /    8,00KiB

Pode ser em segundo plano e / ou abortado e depois retomado. Esta é apenas a ponta do iceberg em termos de recursos. Há também uma GUI para configurar e baixar um download à medida que avança.

Existe uma extensa documentação no httrack website e no googling.