Limita o número de downloads de arquivos com wget?

Question

Estou tentando baixar todos os arquivos pdf de um site usando wget . Eu só exijo que arquivos n sejam baixados. Como eu posso dizer wget para parar depois de baixar arquivos n ?

    

Answer 1

AFAIK, não há nenhuma wget para fazer isso diretamente de dentro de wget , então:

O que eu faria:

#!/bin/bash

num=10
mech-dump --links http://domain.tld/path |
grep -i '\.pdf' |
while read url; do
    if ((++c <= num)); then
        wget "$url"
    fi
done

mech-dump é pacote debian libwww-mechanize-perl