transfere o ficheiro em paralelo [duplicado]

Question

Eu tenho uma lista de URLs (cerca de 50k) de imagens no arquivo de texto que eu quero baixar.

Existe de qualquer forma eu posso baixá-lo de maneira assíncrona usando o comando wget ou de qualquer outra forma, lendo-o a partir de um arquivo de texto.

    

Answer 1

Algo parecido com o seguinte seria o seu objetivo, com 'teste' sendo um arquivo de texto com uma lista de imagens de URL:

cat testing | xargs -n 1 -P 8 wget -q

Funciona lindamente no meu sistema! Você pode manipular a opção -P como as páginas man descrevem:

-P max-procs
  Run up to max-procs processes at a time; the default is 1.  If max-procs is 0,
  xargs  will  run  as  many processes as possible at a time.  Use the -n option
  with -P; otherwise chances are that only one exec will be done.

Referências:

• Stack Overflow: wget paralelo no Bash