Problemas com o Wget para um site hospedado CloudFlare: 503 Serviço Indisponível

3

Eu tenho visto outras instâncias de 503 erros usando Wget , mas para nenhum disponível eu não posso resolver isso.

Quando tento baixar um determinado site, recebo um erro 503 Serviço Indisponível. Isso não acontece com nenhum site, exceto o que está em questão.

Isso é o que está acontecendo. Eu entro:

wget -r --no-parent -U Mozilla http://www.teamspeak.com/

E este é o erro que recebo de volta.:

--2015-03-12 11:57:08--  http://www.teamspeak.com/
Resolving www.teamspeak.com... 104.28.27.53, 104.28.26.53
Connecting to www.teamspeak.com|104.28.27.53|:80... connected.
HTTP request sent, awaiting response... 503 Service Unavailable
2015-03-12 11:57:09 ERROR 503: Service Unavailable.

Este site usa a proteção CloudFlare (ao abrir o site, você precisa esperar 5 segundos enquanto "verifica o seu navegador".

    
por Zac Webb 12.03.2015 / 00:05

3 respostas

3

A proteção CloudFlare é baseada em JavaScript, cookies e filtragem de cabeçalhos http. Se você deseja rastrear o site protegido do CloudFlare usando o wget, primeiro é necessário inseri-lo em um navegador com depurador (por exemplo, Firefox com o Firebug) e copie o cabeçalho de solicitação do Cookie.

Agora, a parte mais difícil: esse cookie é válido por apenas 1 hora, então você terá que atualizá-lo manualmente a cada hora.

Aqui está o comando completo que você pode usar para rastrear o site:

wget -U "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0" --header="Accept: text/html" --header="Cookie: __cfduid=xpzezr54v5qnaoet5v2dx1ias5xx8m4faj7d5mfg4og; cf_clearance=0n01f6dkcd31en6v4b234a6d1jhoaqgxa7lklwbj-1438079290-3600" -np -r http://www.teamspeak.com/

Observe que o valor do cookie __cfduid é constante e você só precisa alterar o valor do cookie cf_clearance a cada hora.

    
por 28.07.2015 / 12:37
1

Parece que o CloudFlare pode ter bloqueado sua solicitação para o site porque você está acessando o site através de uma linha de comando. Como eles têm o modo "Estou sob ataque" ativado em sua conta, você só pode acessar o site com um navegador da web normal.

    
por 12.03.2015 / 01:30
0

O problema parece ser que o TeamSpeak está usando a proteção contra DDoS da CloudFlare. Veja a imagem na parte inferior da resposta. Mais detalhes sobre o que esta proteção é / significa nesta página oficial da Amazon sobre os recursos de segurança da CloudFlare :

CloudFlare leverages the knowledge of a diverse community of websites to power a new type of security service. Online threats range from nuisances like comment spam and excessive bot crawling to malicious attacks like SQL injection and denial of service (DOS) attacks. CloudFlare provides security protection against all of these types of threats and more to keep your website safe.

Mais detalhes sobre seus métodos avançados de proteção contra DDoS podem ser encontrados aqui :

CloudFlare's advanced DDoS protection, provisioned as a service at the network edge, matches the sophistication and scale of such threats, and can be used to mitigate DDoS attacks of all forms and sizes including those that target the UDP and ICMP protocols, as well as SYN/ACK, DNS amplification and Layer 7 attacks. This document explains the anatomy of each attack method and how the CloudFlare network is designed to protect your web presence from such threats.

Agora, como esse fator está incluído no "Serviço 503 temporariamente indisponível" que você está vendo? Bem, isso significa que o site que você está tentando acessar está sob um nível tão alto de proteção contra os serviços de detecção / atenuação de DDoS do Amazon CloudFlare que o acesso não padrão por meio de uma ferramenta de linha de comando como wget ou curl simplesmente não é possível neste momento.

FWIW, eu fiz algumas tentativas curl diferentes na linha de comando e acredito que o que acontece é que a proteção DDoS da CloudFlare age como um enorme proxy de página da web para sites que optam por usá-la. E o site "real" existe em algum lugar diferente do endereço IP para o qual o nome do host resolve. Sites como este reivindicam para fornecer o endereço IP “real” conectado a um nome de host do CloudFlare, mas parece não funcionar de todo. Ou talvez o endereço IP que é dado seja válido, mas a forma como o serviço é configurado apenas o impede de acessar diretamente o site real sem passar pelos loops do CloudFlare.

O que significa simplesmente, o melhor que você pode fazer é sentar e esperar, e talvez em poucas horas ou possivelmente dias, os problemas de segurança enfrentados pelo site desaparecerão e as chamadas wget ou curl padrão podem ser feitas. Mas a realidade é que, se essa proteção de segurança estiver em vigor e for sólida, e o proprietário do website não desativá-la, você não poderá fazer muito para contornar isso.

    
por 12.03.2015 / 01:42

Tags