Existe um wget paralelo? Algo como fping, mas apenas para baixar?

Question

Encontrei apenas puf (buscador de URL paralela), mas não consegui ler URLs de um arquivo; algo como

 puf < urls.txt

também não funciona.

O sistema operacional instalado no servidor é o Ubuntu.

    

Answer 1

Você pode implementar isso usando Python e a biblioteca pycurl. A biblioteca pycurl possui a interface "multi" que implementa seu próprio loop que permite múltiplas conexões simultâneas.

No entanto, a interface é mais semelhante a C e, portanto, um pouco incômoda em comparação com outro código mais "Pythonic".

Eu escrevi um wrapper para ele que cria um cliente semelhante a um navegador mais completo em cima dele. Você pode usar isso como um exemplo. Veja o módulo pycopia.WWW.client . O HTTPConnectionManager envolve a interface múltipla.

    

Answer 2

Usando Paralelo GNU ,

$ parallel -j ${jobs} wget < urls.txt

ou xargs de GNU Findutils ,

$ xargs -n 1 -P ${jobs} wget < urls.txt

em que ${jobs} é o número máximo de wget que você deseja permitir a execução simultânea (configurando -n para 1 para obter uma wget invocação por linha em urls.txt ). Sem -j / -P , parallel executará tantos trabalhos por vez quanto os núcleos de CPU (o que não faz necessariamente sentido para wget vinculado por rede IO) e xargs executará um em um tempo.

Um bom recurso que parallel tem sobre xargs é manter a saída dos trabalhos em execução simultânea separados, mas se você não se importar com isso, xargs tem mais chances de ser pré-instalado. / p>     

Answer 3

aria2 faz isso.

link

Exemplo:     aria2c link

    

Answer 4

Isso funciona e não DoS local ou remoto, com ajustes adequados:

(bandwidth=5000 jobs=8; \
 parallel      \
   --round     \
   -P $jobs    \
   --nice +5   \
   --delay 2   \
   --pipepart  \
   --cat       \
   -a urls.txt \
     wget                                \
       --limit-rate=$((bandwidth/jobs))k \
       -w 1                              \
       -nv                               \
       -i {}                             \
)

    

Answer 5

Parte da página man do GNU Parallel contém um exemplo de wget recursivo paralelo.

link

O HTML é baixado duas vezes: uma vez para extrair links e uma vez para fazer o download para o disco. Outro conteúdo só é baixado uma vez.

Se você não precisa da resposta do efêmero recursivo, parece óbvio.

    

Answer 6

As vítimas do seu download paralell não se divertem: elas esperam que uma conexão atenda cada cliente, configurando várias conexões significa menos clientes em geral. (Isto é, isto é considerado um comportamento rude).

    

Answer 7

Uma solução seria algo como o seguinte:

#!/bin/sh
while IFS= read -r uri; do
    wget -q -- "${uri}" &
done

Em seguida, execute-o como ./puf < urls.txt .