Gostaria de definir uma lista de URLs (como definido no link
O mais próximo que consegui chegar a esse objetivo é
xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null
Qual funciona bem e dandy e bate os URLs que eu preciso, mas parece incapaz de trabalhar com outra coisa senão um arquivo local. Eu também gostaria de fazer uso de uma lista que já existe e mantém-se mantida (O sitemap.xml).
Você deseja usar XSLT para alterar sitemap.xml para uma lista de URLs, um por linha. Para fazer isso na linha de comando, você pode usar xsltproc , que faz parte de libxslt . Então você faria algo como:
curl https://example.com/sitemap.xml | xsltproc stylesheet | xargs curl --blah --blah
A criação da folha de estilo XSLT é deixada como um exercício para o leitor.