Baidu Spider causando 3Gb de tráfego por dia - mas faço negócios na China

3

Estou em uma situação difícil, a aranha do Baidu está atingindo o meu site, causando cerca de 3Gb por dia de largura de banda. Ao mesmo tempo, faço negócios na China, portanto, não quero apenas bloqueá-lo.

Alguém mais esteve em uma situação semelhante (qualquer aranha)? Você se deparou com uma solução mágica? Ou você acabou de aceitar e bloquear ou não bloquear o bot?

    
por d.lanza38 24.11.2015 / 22:03

1 resposta

3

Contanto que siga o robots.txt, você pode controlar as solicitações

User-agent: *
Crawl-delay: 10
    
por 24.11.2015 / 22:08