Como posso importar vários URLs para wget?

Question

Eu uso o seguinte código para fazer o download de "example1.com" com o Windows. No entanto, esse código está limitado a apenas um URL.

É possível importar um arquivo txt contendo vários URLs?

wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example1.com

    

Answer 1

Eu encontrei a maneira mais fácil: wget tem um comando para importar links de um arquivo de texto.

wget -i mylist.txt

    

Answer 2

Você pode fazer isso com bash , o instalador do Windows pode ser encontrado aqui (quando perguntado sobre os componentes a serem instalados, escolha apenas MSYS), no Linux você provavelmente o tem como interpretador de linha de comando padrão, assim você apenas roda o emulador de console e está pronto para começar. Para executá-lo no Windows, abra C:\MinGW\msys.0\msys.bat .

Digamos que seu banco de dados de URLs se chame db.txt e tenha cada endereço em uma linha separada, sem espaços. Em seguida, o comando para executar wget para cada endereço será:

for line in 'cat db.txt'; do wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp $line; done

Observe que eu usei caracteres de acentuação (aqueles à esquerda do botão 1 ), e não aphostrophes. Antes de executar este comando você tem que mudar seu diretório para a pasta onde está o arquivo:

cd /home/YourUsername