Contanto que siga o robots.txt, você pode controlar as solicitações
User-agent: *
Crawl-delay: 10
Estou em uma situação difícil, a aranha do Baidu está atingindo o meu site, causando cerca de 3Gb por dia de largura de banda. Ao mesmo tempo, faço negócios na China, portanto, não quero apenas bloqueá-lo.
Alguém mais esteve em uma situação semelhante (qualquer aranha)? Você se deparou com uma solução mágica? Ou você acabou de aceitar e bloquear ou não bloquear o bot?
Contanto que siga o robots.txt, você pode controlar as solicitações
User-agent: *
Crawl-delay: 10