como obtenho a saída de resposta da url. transfira-a em arquivo, não baixe o código

Question

Meu arquivo assim com algum número ou id

 404000847307897
 404000857827460
 404001044194601
 404000835511595
 404000338418501
 404000338654003
 404000290144612
 404000344175621
 404000290144612
 404000844713523

esta minha URL

 url= http://203.90.117.109/wds_cdma/wds.aspx?min= 

agora usando este URL, obtenha a resposta do URL e baixe a saída do URL. não o código.

exemplo, pegue o URL e adicione o número min = file id no final do URL.

(http://203.90.117.109/wds_cdma/wds.aspx?min=404000847307897)
(http://203.90.117.109/wds_cdma/wds.aspx?min=404000857827460)

essa url acerta o servidor e recebe a resposta da saída do URL abaixo

 404000847307897|-101| Requested MIN not found.
 404000857827460|9225534526|2|Prepaid|2 

finalmente, esta saída armazena em um arquivo.

você pode fazer isso curl com awk ou wget ?

    

Answer 1

Ainda não posso comentar para pedir mais detalhes sobre sua pergunta, então vou adivinhar: você tem um arquivo que contém uma lista de números, você deseja consultar uma URL usando cada um desses números como parâmetros e armazenar os resultados em um arquivo.

Usando o wget em um script de shell:

#!/bin/sh
PARAMETER_FILE="/path/to/parameter/file"
URL="http://203.90.117.109/wds_cdma/wds.aspx?min="
OUTPUT_FILE="/path/to/output/file"

IFS="
"

for param in $(cat "$PARAMETER_FILE")
do
  wget "${URL}${param}" >> "$OUTPUT_FILE"
done

    

Answer 2

Supondo que a lista de IDs de arquivos esteja em um arquivo chamado file_ids.txt.

for i in $(cat file_ids.txt); do 
   curl http://203.90.117.109/wds_cdma/wds.aspx?min=$i -O -s >> output.txt;
done

O acima irá criar um monte de comandos como este:

curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000847307897 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000857827460 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404001044194601 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000835511595 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000338418501 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000338654003 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000290144612 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000344175621 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000290144612 -O -s >> output.txt
curl http://203.90.117.109/wds_cdma/wds.aspx?min=404000844713523 -O -s >> output.txt

O arquivo acima percorre a lista de IDs de arquivos e executa o comando curl anexando a saída do HTTP GET ao arquivo output.txt . O operador >> pega a saída dos comandos curl e a anexa ao arquivo.