Baixar imagens em massa com a organização

Question

Eu tenho uma lista de URLs (praticamente todos os URLs de imagens, embora alguns pdf) que eu preciso baixar. Eu encontrei uma variedade de opções para o download em massa e estes funcionariam, mas eu preciso que eles sejam organizados pelo diretório que estão listados como na URL. Por exemplo:

samplesite.com/sample1/image1.jpg
samplesite.com/sample1/image2.jpg
samplesite.com/sample1/image3.jpg
samplesite.com/sample2/image1.jpg
samplesite.com/sample2/image2.jpg
samplesite.com/sample2/image3.jpg

Eu precisaria ser organizado assim:

Folder Sample1
image1.jpg
image2.jpg
image3.jpg
Folder Sample2
image1.jpg
image2.jpg
image3.jpg

Eu tenho acesso SFTP, mas cada diretório é terrivelmente organizado e tem arquivos de imagem misturados com outros arquivos irrelevantes. Além disso, a maioria dos scripts em lote que tentei criar teve problemas. Quando eu fiz xCopy , não havia como descobrir quais arquivos falharam e quando eu fiz robocopy speed foi comprometida. Alguma sugestão sobre como devo prosseguir? O software existente é o preferido, mas estou bem com conselhos sobre como eu deveria fazer isso. Eu prefiro não ter que instalar nada para acessar o SFTP via linha de comando, mas se essa é a única opção, é o que é.

    

Answer 1

Acho que wget pode fazer isso com algumas opções. Por favor, tente wget -input-file=urls.txt --force-directories

No manual do wget :

--input-file=file
Read URLs from a local or external file. If ‘-’ is specified as file, URLs are read from the standard input. (Use ‘./-’ to read from a file literally named ‘-’.)

e

--force-directories
The opposite of ‘-nd’—create a hierarchy of directories, even if one would not have been created otherwise. E.g. ‘wget -x http://fly.srk.fer.hr/robots.txt’ will save the downloaded file to fly.srk.fer.hr/robots.txt.