Curl sempre retorna a mesma página 404

3

Independentemente da URL que eu especificar para curl , sempre recebo a mesma página HTML 404 Error.

Se eu usar a opção --verbose , parece que curl sempre se conecta ao mesmo endereço IP.

$ curl --verbose http://www.edgeoftheweb.co.uk
* About to connect() to www.edgeoftheweb.co.uk port 80
*   Trying ::ffff:74.117.222.24... connected
* Connected to www.edgeoftheweb.co.uk (::ffff:74.117.222.24) port 80
> GET / HTTP/1.1
> User-Agent: curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
> Host: www.edgeoftheweb.co.uk
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Thu, 15 Sep 2011 13:52:07 GMT
< Server: Apache/2.2.3 (CentOS)
< X-Powered-By: PHP/5.2.11
< Content-Length: 519
< Connection: close
< Content-Type: text/html; charset=UTF-8
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
<HTML>
<HEAD>
    <META http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
    <TITLE>www.edgeoftheweb.co.uk</TITLE>
</HEAD>
<FRAMESET rows="100%,*" border="0" frameborder="0" framespacing="0">
    <FRAME name=top src="http://www.searchnut.com/?domain=edgeoftheweb.co.uk&registrar=directnicexpired&aff_txt=This+domain+is+expired%2C+please+renew+it.&aff_url=https%3A%2F%2Fsecure.directnic.com%2Fmyaccount%2Frenewals%2F"noresize></FRAMESET>Closingconnection#0$curl--verbosehttp://api.twitter.com*Abouttoconnect()toapi.twitter.comport80*Trying::ffff:74.117.222.24...connected*Connectedtoapi.twitter.com(::ffff:74.117.222.24)port80>GET/HTTP/1.1>User-Agent:curl/7.15.5(x86_64-redhat-linux-gnu)libcurl/7.15.5OpenSSL/0.9.8bzlib/1.2.3libidn/0.6.5>Host:api.twitter.com>Accept:*/*><HTTP/1.1200OK<Date:Thu,15Sep201113:53:25GMT<Server:Apache/2.2.3(CentOS)<X-Powered-By:PHP/5.2.11<Content-Length:505<Connection:close<Content-Type:text/html;charset=UTF-8<!DOCTYPEHTMLPUBLIC"-//W3C//DTD HTML 4.01 Transitional//EN">
<HTML>
<HEAD>
    <META http-equiv="Content-Type" content="text/html; charset=ISO-8859-1">
    <TITLE>api.twitter.com</TITLE>
</HEAD>
<FRAMESET rows="100%,*" border="0" frameborder="0" framespacing="0">
    <FRAME name=top src="http://www.searchnut.com/?domain=twitter.com&registrar=directnicexpired&aff_txt=This+domain+is+expired%2C+please+renew+it.&aff_url=https%3A%2F%2Fsecure.directnic.com%2Fmyaccount%2Frenewals%2F" noresize>
</FRAMESET>
Closing connection #0

A saída de curl --version é:

curl 7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5
Protocols: tftp ftp telnet dict ldap http file https ftps
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz

Se eu usar wget , recuperarei as páginas corretas.

Alguma ideia de como obter curl para resolver o URL corretamente? Obrigado.

    
por Jon 15.09.2011 / 15:58

2 respostas

4
* Connected to www.edgeoftheweb.co.uk (::ffff:74.117.222.24) port 80

* Connected to api.twitter.com (::ffff:74.117.222.24) port 80

Parece que o curl está usando o ipv6 para conectar enquanto o wget está usando o ipv4

Tente o seguinte

 curl --verbose -4 http://api.twitter.com
    
por 15.09.2011 / 16:46
0

É um pouco difícil, mas tente alterar temporariamente seu servidor de nomes para os servidores DNS do Google:

8.8.8.8 
8.8.4.4

O que parece é que libcurl não é capaz de resolver esses nomes DNS, mas o servidor DNS do seu ISP não está retornando uma resposta DNS apropriada (NXDOMAIN), mas retornando um resultado de pesquisa. Eu não sei porque o wget seria diferente significativamente em sua resposta, mas pelo menos você provavelmente gostaria que os servidores do ISP atrapalhassem sua solução de problemas.

    
por 15.09.2011 / 16:46