Como obter o despejo http de um site e o cabeçalho de um único comando curl?

1

Eu tenho que buscar um site (vários redirecionamentos possíveis usando -L) e salvar o conteúdo html em um arquivo chamado [HTTP_Status_code] _ [Website_name] .html

Atualmente, estou usando duas chamadas curl, uma para o despejo e outra para o cabeçalho. Existe alguma maneira de encaixá-los em um só?

Script:

cat url_list.txt | while read line; do 
if curl  -L  $line -o 'curl -I $line 2>/dev/null | head -n 1 | cut -d$' ' -f2'_'basename $line'.html 
 then
   :
 else
    echo $line >>error.txt
fi 
done

EDITAR: Eu tenho que encontrar o cabeçalho do último redirecionamento.

    
por Rekha Tokas 17.03.2015 / 10:43

1 resposta

0

e

cat url_list.txt | while read line; do 
if curl  -D  tmp_status.txt -L  $line -o tmp_file.html 
then
   mv tmp_file.html $(awk '/HTTP/  { print $2}' tmp_status.txt)_$(basename $line)
else
   echo $line >>error.txt
   # processing from tmp_status
fi 
done
  • apenas uma chamada de onda, mas uma postagem de processamento ...
por 17.03.2015 / 11:27