Wget lista de arquivos com padrões de URL previsíveis programaticamente?

Question

Existem questões semelhantes como esta, mas nada exatamente igual. Utilizando o novo recurso JSON do protetor de tela do Apple TV como exemplo, com URLs previsíveis, (somente os números após o b e a - são alterados, parece que seria bastante trivial criar um padrão que o wget possa usar dentro de uma função. O último número só sobe para 4 também.

http://a1.phobos.apple.com/us/r1000/000/Features/atv/AutumnResources/videos/b6-4.mov

No entanto, tente este , esta e isso falha, mesmo com o sinalizador -nd .

Eu sinto que isso é algo simples e óbvio que estou perdendo.

    

Answer 1

Eu sei que essa foi uma pergunta de wget , mas se você estiver aberto para usar curl , saiba como fazer isso:

Faça o download e mantenha o nome de arquivo original

curl -O -L -f http://a1.phobos.apple.com/us/r1000/000/Features/atv/AutumnResources/videos/b[1-10]-[1-4].mov

Faça o download e use um nome de arquivo personalizado

curl -o screensaver-b#1-#2.mov -L -f http://a1.phobos.apple.com/us/r1000/000/Features/atv/AutumnResources/videos/b[1-10]-[1-4].mov

Se você quisesse multi-thread, você iria apenas quebrar o primeiro regex em .. algo como:

curl -O -L -f http://a1.phobos.apple.com/us/r1000/000/Features/atv/AutumnResources/videos/b[1-5]-[1-4].mov -O -L -f http://a1.phobos.apple.com/us/r1000/000/Features/atv/AutumnResources/videos/b[6-10]-[1-4].mov'

-0 faz download como o mesmo nome de arquivo do que está sendo exibido

-o personaliza o nome do arquivo baixado

-L siga os cabeçalhos de localização

-f falham silenciosamente, por isso, não faça o download dos 404s