HTTP Downloader multithreaded

Question

Estou procurando uma ferramenta de linha de comando que possa fazer o download de vários URLs com vários segmentos, por exemplo,

wget2 -n 5 http://stackoverflow.com/ http://askubuntu.com/ http://bobo.com/

Onde -n = number of threads . Eu me deparei com Axel, mas quando eu dou várias URLs, ele só baixa um.

Eu baixarei arquivos HTML.

    

Answer 1

Todas as sugestões acima e vinculadas não aceitam dois URLs exclusivos. Eles só aceitam URLs que são espelhos do mesmo arquivo.

Encontrei alguns programas que fazem isso:

O melhor é puf (apt-get install puf), use puf url1 url2 etc.

Depois, há o HTTRACK, que requer muitos ajustes e tem alguns limites que não consigo ultrapassar (limites de velocidade e conexão)

O DownThemAll para o Firefox é muito bom se você não precisa de um aplicativo de linha de comando.

UPDATE

Eu já achei puf tem uma tendência a falhar. A melhor solução é criar um arquivo .txt com URLs em novas linhas, por exemplo,

http://google.com/
http://yahoo.com/

Salve que são urls.txt (por exemplo) e execute o comando:

cat urls.txt | xargs -n 1 -P 10 wget -q

-n especifica para selecionar cada linha do arquivo

-p especifica o número de URLs que você gostaria de baixar em paralelo.

    

Answer 2

O Aria2 é a melhor solução para isso, se você quiser o CLI. O Aria2 suporta múltiplas conexões, múltiplos threads e múltiplas fontes.

Outro benefício do Aria2 é que ele funciona como um plugin para o uGet, para que você possa usar o poder do Aria2 com um GUI fácil de usar.

Aria2 - CLI - link

• por padrão, o Aria2 faz 5 conexões, mas pode ser ajustado com o parâmetro "-j".
• aria2c -j 10 link

uGet - GUI - link

• várias conexões são ajustáveis na GUI ao adicionar um download.

Atualização: com base nas necessidades de lote do OP

uGet suporta downloads em lote via .txt, .html, área de transferência e muitos outros métodos. Embora não seja admitido como CLI, acho que resolve bem o problema. Eu criei um tutorial em vídeo para explicar os vários métodos, a GUI mudou desde a gravação, mas a funcionalidade ainda é relevante .