Scrapy seria uma boa opção.
Acabei de me deparar com este problema e o meu pequeno conhecimento em programação está a matar-me agora;) Então, tenho uma certa galeria num site de partilha de imagens, isto é ImageBam, nunca transferi imagens deste website.
agora estou usando este código:
wget -P pics -H -nd -r -A '.jpg,.jpeg,.png,.gif,' -erobots=off http://www.imagebam.com/gallery/hwtfu6m7es3gun1emmpy2uheohrcckmt/
Este código está fazendo o download de todo o site, quando eu só preciso baixar o conteúdo de um determinado DIV, que inclui miniaturas e imagens originais.
Você sabe se é possível criar um script no bash ou em qualquer outro idioma para baixar o conteúdo de uma div e não de todo o site e todos os possíveis hiperlinks?
obrigado pela ajuda
Scrapy seria uma boa opção.
wget não serve para analisar arquivos, apenas baixá-los.
O que você quer é cURL que é como wget, mas com a capacidade adicional de analisar arquivos para o destino desejado.
Tags wget