Carrega vários arquivos simulatenously com cURL

Question

Eu estou olhando para baixar vários arquivos de um servidor usando cURL do Terminal em um Mac. Eu sei que usando o operador {}, eu posso carregar um arquivo após o outro, mas eu estou olhando para baixar todos (10) deles usando várias conexões ao mesmo tempo. Existe uma maneira de fazer isso (nota: não usando PHP, que parece ter um monte de respostas aqui)?

    

Answer 1

Você pode fazer isso a partir do seu shell:

cat <<URLS | xargs -P5 -n1 curl -O
http://www.example.com/
http://www.example.net/
ftp://ftp.example.org/
URLS

Isso fará o download de um arquivo por processo de curl, com um máximo de 5 trabalhadores / processos de curvar simultâneos.

Observe que, com xargs, ele separará a entrada pelos dois espaços e pelas novas linhas. Como suas URLs não devem conter espaços (ou devem tê-las codificadas), isso não deve ser muito significativo.