baixar recursivamente de um site

Question

Estou tentando obter imagens de um URL de site " www.example.com/products " nessa pasta de produtos várias subpastas. Preciso fazer o download da pasta de produtos.

Em www.example.com/products, www.example.com/products/subfolders, a imagem é

• www.example.com/products/subfolder1/image.jpg,
• www.example.com/products/subfolder2/image.jpg,
• www.example.com/products/subfolder3/image.jpg

Como posso baixar a pasta de produtos com subpastas com dados?

    

Answer 1

wget -nd -r -l1 -P /save/location -A jpeg,jpg http://www.example.com/products

Explicação:

-nd impede a criação de uma hierarquia de diretórios (ou seja, diretórios não ).

-r ativa a recuperação recursiva. Consulte Download recursivo para obter mais informações.

-l1 Especifica o nível máximo de profundidade de recursão. 1 para apenas este diretório no seu caso é products .

-P define o prefixo do diretório onde todos os arquivos e diretórios são salvos.

-A define uma lista de desbloqueio para recuperar apenas determinados tipos de arquivo. Strings e padrões são aceitos e ambos podem ser usados em uma lista separada por vírgulas (como visto acima). Consulte Tipos de arquivos para obter mais informações.

    

Answer 2

Experimente httrack(1) , uma web spider mais útil para criando espelhos locais de sites inteiros.

• Página inicial: link

• Página principal: link

Os exemplos na página do manual vinculada devem ajudar você a começar.

    

Answer 3

wget -nH --page-requisites -R -nH -P mirrorDirectory https://example.com

em que mirrorDirectory é o caminho de onde você deseja armazenar a saída.