Como baixar todas as imagens cujo size100kb em uma página da web?

Question

Desejo fazer o download de imagens contidas em algumas páginas da Web, mas apenas aquelas com mais de 100 KB. Até agora eu tenho baixado todas as imagens e depois deletei as pequenas, mas não é muito eficiente. Existe alguma maneira de ignorar os pequenos durante o download?

    

Answer 1

Se você usar uma solicitação HTTP HEAD, somente os cabeçalhos serão retornados.

Aqui está uma abordagem simplificada (supondo que você tenha uma lista de URLs). limiar = expr 100 \* 1024

for url in ${list_of_urls} ; do    
    size='curl -s --head ${url} | grep 'Content-Length:' | cut -d ' ' -f 2' 

    if [ ${size} -gt ${threshold} ] ; then  
        curl -s ${url}
    fi    
done