bloquear fake google bots [duplicado]

Question

Como eu posso bloquear ataques DDOS com bots do Google falsos?

Encontrei 2 soluções na rede. Mas ambos parecem bloquear também corrigir bots do Google.

# Block fake google when it's not coming from their IP range's (A fake googlebot) [F] => Failure
RewriteCond %{HTTP:X-FORWARDED-FOR} !^66\.249\.(6[4-9]|[78][0-9]|9[0-5])\.
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$ [NC]
RewriteRule .* - [F,L]
# End if match

E aqui está o segundo:

# Validate Googlebots
RewriteCond %{HTTP_USER_AGENT} ^Mozilla/5\.0\ \(compatible;\ Googlebot/2\.[01];\ \+http://www\.google\.com/bot\.html\)$
RewriteCond %{HTTP:Accept} ^\*/\*$
RewriteCond %{HTTP:Accept-Encoding} ="gzip,deflate"
RewriteCond %{HTTP:Accept-Language} =""
RewriteCond %{HTTP:Accept-Charset} =""
RewriteCond %{HTTP:From} ="googlebot(at)googlebot.com"
RewriteCond %{REMOTE_ADDR} ^66\.249\.(6[4-9]|7[0-9]|8[0-46-9]|9[0-5])\. [OR]
RewriteCond %{REMOTE_ADDR} ^216\.239\.(3[2-9]|[45][0-9]|6[0-3])\.0
# Optional reverse-DNS-lookup replacement for IP-address check lines above
# RewriteCond %{REMOTE_HOST} ^crawl(-([1-9][0-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])){4}\.googlebot\.com$
RewriteRule ^ - [S=1]
## Block invalid Googlebots
RewriteCond %{HTTP_USER_AGENT} Googlebot [NC]
RewriteRule ^ - [F]
# END sending now 403 to fake Googebots

Alguém poderia sugerir uma solução para bloquear ataques DDOS com googlebots falsos?

    

Answer 1

Os dois métodos fornecidos parecem permitir com base em um intervalo conhecido de IPs. Você deseja verificar se a correspondência de expressão regular está atualizada e se o intervalo que você está verificando é o que o Google está realmente usando. Se você está realmente sob um "DDoS", eu não sugiro usar a opção de pesquisa reversa de DNS no seu arquivo .htaccess.

Como alternativa e sugerido, você pode usar algum tipo de "firewall de aplicativo da web". A Sucuri e a CloudFlare oferecem um serviço para filtrar esse tipo de tráfego (e outras coisas maliciosas) e podem reduzir bastante o número de solicitações de 'bots ruins' que você atende.

- CloudFlare: link

- Sucuri: link

    

Answer 2

É aqui que entra um firewall. Os firewalls têm propósitos internos específicos, alguns dos quais são para isso mesmo.

Eu procuraria os firewalls ASA ou Dell SonicWall. Por padrão, bloquearia algo assim de qualquer maneira.