baixa vários arquivos do sourceforge

Question

Existe alguma maneira de fazer o download / espelhar uma estrutura de pastas com muitos arquivos do sourceforge usando a ferramenta wget / curl / similar?

Eu vi alguns exemplos usando rsync ou scp, mas acho que funciona apenas para proprietários de projetos SF (porque ele precisa de login, senha e caminho do sistema de arquivos).

    

Answer 1

Sim, você pode fazer isso com wget .

Se você estiver usando HTTP

wget --no-check-certificate -e robots=off --user=user --password='pswd' -r URL

Se você usa o FTP:

wget -r ftp://username:[email protected]_domain.com/

    

Answer 2

Eu costumo usar httrack para baixar / espelhar o conteúdo da web de um site.

$ httrack http://2011.example.com -K -w -O . -%v --robots=0 -c1 %e0

Após a execução, você fica com uma estrutura de diretórios local e navegável. Por exemplo:

$ ls -l
total 304
-rw-r--r--  1 saml saml   4243 Aug 17 10:20 backblue.gif
-rw-r--r--  1 saml saml    828 Aug 17 10:20 fade.gif
drwx------  3 saml saml   4096 Aug 17 10:20 hts-cache
-rw-rw-r--  1 saml saml    233 Aug 17 10:20 hts-in_progress.lock
-rw-rw-r--  1 saml saml   1517 Aug 17 10:20 hts-log.txt
-rw-------  1 saml saml 271920 Aug 17 10:22 hts-nohup.out
-rw-r--r--  1 saml saml   5141 Aug 17 10:20 index.html
drwxr-xr-x 10 saml saml   4096 Aug 17 10:21 2011.example.com

Ao fazer o download, você verá o seguinte tipo de saída:

Bytes saved:    21,89KiB           Links scanned:   12/45 (+4)
Time:   2s                         Files written:   4
Transfer rate:  2,65KiB/s (2,65KiB/s)  Files updated:   1
Active connections:     1          Errors:  7

Current job: parsing HTML file (57%)
 request -  2011.example.com/cgi-bin/hostnames.pl   0B /    8,00KiB

Pode ser em segundo plano e / ou abortado e depois retomado. Esta é apenas a ponta do iceberg em termos de recursos. Há também uma GUI para configurar e baixar um download à medida que avança.

Existe uma extensa documentação no httrack website e no googling.