Download de dados em paralelo [fechado]

Question

Eu tenho que baixar 20G de dados usando ftp .Posso fazer isso em paralelo (gnu?) Aqui estão alguns dos links para os dados.

 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz 
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz

Obrigado,

    

Answer 1

Embora eu não saiba sobre parallel , sei que uma excelente ferramenta para fazer o download em paralelo é aria2c .

Veja um trecho da seção FTP / HTTP do seu manual :

• -s , --split=[N]

• Faça o download de um arquivo usando N connections. Se mais de N URIs forem fornecidos, primeiro N URIs serão usados e os URIs restantes serão usados para backup. Se forem dados menos de N URIs, esses URIs serão usados mais de uma vez para que N conexões sejam feitas simultaneamente. O número de conexões para o mesmo host é restrito pela opção --max-connection-per-server . Veja também a opção --min-split-size

• Padrão: 5