Executa solicitações de curl em paralelo no bash

Question

Qual é a melhor maneira de executar 5% de solicitaçõescurl em parallel de um script bash? Não posso executá-los em série por motivos de desempenho.

    

Answer 1

Use '&' depois de um comando para um processo em segundo plano, e 'esperar' para esperar que eles terminem. Use '()' ao redor dos comandos se você precisar criar um sub-shell.

#!/bin/bash

curl -s -o foo http://example.com/file1 && echo "done1" &
curl -s -o bar http://example.com/file2 && echo "done2" & 
curl -s -o baz http://example.com/file3 && echo "done3" &

wait

    

Answer 2

xargs tem um parâmetro "-P" para executar processos em paralelo. Por exemplo:

wget -nv http://en.wikipedia.org/wiki/Linux -O- | egrep -o "http://[^[:space:]]*.jpg" | xargs -P 10 -r -n 1 wget -nv

Referência: link

    

Answer 3

Eu uso o paralelo do gnu para tarefas como esta.