Como classifico o limite do google crawl do meu bloco de IP?

Question

Eu tenho vários sites em uma rede /24 que são rastreados pelo google regularmente. Normalmente isso está bem. No entanto, quando o Google começa a rastrear todos os sites ao mesmo tempo, o pequeno conjunto de servidores que apóia esse bloqueio de IP pode ter um grande impacto na carga.

Com as ferramentas do Google para webmasters, você pode classificar o limite do googlebot em um determinado domínio, mas ainda não encontrei uma maneira de limitar o bot em uma rede IP. Alguém tem experiência com isto: Como você consertou isso?

    

Answer 1

Se você executar o BGP, poderá simplesmente limitar o AS15169 (AS-GOOGLE), mas fazê-lo manualmente provavelmente será muito propenso a erros.

    

Answer 2

Eu achei essas notas interessantes para prosseguir

1. Obtenha um robots.txt inteligente e outros robots.txt publica lá
2. Uma postagem no Dirty Little Secret do Google por alguém com problemas com o google bots
3. rastreadores da web do Google

Answer 3

Você pode ir ao Google e criar uma conta com a ferramenta webmaster e, em seguida, você pode controlar o rastreamento taxa para cada site. Vá para configuração do site :: configurações :: taxa de rastreamento. Isso não permite que você agende seus sites em uma certa ordem em que eu não acredito, mas você pode pelo menos diminuir a velocidade de todos eles.

    

Answer 4

Não, não é móvel. Você tem que colocar isso em um robots.txt em todos os sites. O Google, com razão, não tem chamado "proprietários de endereços IP", por assim dizer. Todo o controle vem do robots.txt nos sites.