O comentário acima já menciona que wget
tem a opção --input-file=file
. Se você quiser fazer isso com um script, siga abaixo. Extraído de aqui .
Preencha um arquivo chamado listofurls.txt
com todos os seus URLs.
Crie um arquivo chamado wget_readfile.sh
nano wget_readfile.sh
Cole isso:
#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
wget $line
done < ""
Torne-o executável:
chmod +x wget_readfile.sh
Execute
./wget_readfile.sh listofurls.txt