Curl. Verifique o redirecionamento

Question

Vamos supor que temos 3 links: link1, link2, link3. O link1 redireciona para o link2 e o link2 redireciona para o link3. Então, como ver isso com a onda?

    

Answer 1

Você pode ver os cabeçalhos de HTML usando -I . Se o redirecionamento for uma meta-atualização, ele deve se tornar um cabeçalho.

lamp@oort ~ $ curl -I http://google.com<br>
HTTP/1.1 301 Moved Permanently<br>
Location: http://www.google.com/<br>
Content-Type: text/html; charset=UTF-8<br>
Date: Thu, 21 Nov 2013 14:59:13 GMT<br>
Expires: Sat, 21 Dec 2013 14:59:13 GMT<br>
Cache-Control: public, max-age=2592000<br>
Server: gws<br>
Content-Length: 219<br>
X-XSS-Protection: 1; mode=block<br>
X-Frame-Options: SAMEORIGIN<br>
Alternate-Protocol: 80:quic

Se o redirecionamento está acontecendo via PHP, você pode detectar isso comparando onde o navegador está indo, em relação a onde ele está indo ... Há várias maneiras de fazer isso com Python, JS, etc. Um projeto que pode ser interessante para você é phantomjs, um navegador sem cabeçalho scriptável.

    

Answer 2

Tente isto:

for link in link1 link2 link3; do
    curl -Is "$link" | awk '/Location/{print $2}'
done

Ou usando netcat :

for link in link1 link2 link3; do
    printf '%s\n%s\n\n%s\n' 'HEAD / HTTP/1.1' "Host: $link" 'Connexion:close' |
    netcat $link 80 | awk '/Location/{print $2}'
done

    

Answer 3

De man curl :

   -w, --write-out <format>
          Defines what to display on stdout after a completed and
          successful operation.

          <...>

          redirect_url   When an HTTP request was made without -L to
                         follow redirects, this variable will show the 
                         actual URL a redirect would take you to.
                         (Added in 7.18.2)

Então, provavelmente, curl -w "%{redirect_url}" link1 fornecerá o primeiro URL de redirecionamento.

Talvez algo assim funcione para você:

URL="http://google.com"
while [ -n "${URL}" ]
do
    echo $URL
    URL=$(curl -sw "\n\n%{redirect_url}" "${URL}" | tail -n 1)
done