enrola a origem da página a partir de um arquivo de texto contendo URLs

Question

Eu tenho um arquivo de texto contendo até 100 URLs. Eu sou capaz de enrolar a fonte da página deles usando:

cat /path/to/url.txt|xargs curl -o /path/to/output.txt

Isso fará o download da origem da página para todos os URLs (como eu posso ver isso acontecendo na linha de comando), mas salvará (em output.txt ) a origem da página para o URL no topo da lista.

Como eu faria para salvar a origem da página para cada URL, seja no mesmo arquivo de texto ou, se necessário, em arquivos de texto individuais?

Obrigado,

    

Answer 1

Com o GNU Parallel você pode obter vários URLs em paralelo e não precisa se preocupar com as saídas sendo misturadas:

cat /path/to/url.txt | parallel curl > /path/to/output.txt

    

Answer 2

for i in $(cat urls.txt); do curl "$i" >> output.txt; done

    

Answer 3

com uma lista simples de URLs em cada linha, isso deve fazer o trabalho e produzir tudo em um único arquivo:

while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt