Como posso limitar a taxa de rastreamento do Googlebot?

Question

Eu tenho um problema com um dos meus servidores. O Google abre muitas conexões http com o servidor apache e basicamente realiza um ataque de slowlis.

Esta chamada do netstat resulta na seguinte saída

netstat -plant|grep :80|awk '{print $5}'|cut -d: -f1|sort|uniq -c|sort -n

 11 209.85.227.93
 14 209.85.227.190
 30 209.85.229.118
494 209.85.229.141

Todos esses ip's pertencem à rede do Google. Eu já proíbe o Google de acessar qualquer conteúdo salvo no servidor usando o robots.txt, mas isso não afeta a quantidade insana de conexões. O que devo fazer?

    

Answer 1

Acesse as ferramentas para o Google para webmasters e insira otimização .

Várias outras aranhas respeitam a diretiva Crawl-delay em robots.txt , mas o Googlebot não.