Download em lote de URLs da linha de comando multithreaded

Question

Eu tenho 100.000 URLs de arquivos pequenos para download. Gostaria de usar 10 threads e pipelining é uma obrigação. Eu concateno o resultado para um arquivo. A abordagem atual é:

cat URLS | xargs -P5 -- curl >> OUTPUT

Existe uma opção melhor que mostrará o progresso de toda a operação? Deve funcionar a partir da linha de comando.

    

Answer 1

cat URLS | parallel -k -P10 curl >> OUTPUT

ou se o progresso é mais importante:

cat URLS | parallel -k -P10 --eta curl >> OUTPUT

ou:

cat URLS | parallel -k -P10 --progress curl >> OUTPUT

A instalação de 10 segundos tentará fazer uma instalação completa; E se que falha, uma instalação pessoal; se isso falhar, um mínimo instalação.

wget -O - pi.dk/3 | sh

Assista ao vídeo de introdução para uma introdução rápida: link