Não bloqueie o robô completamente, mas reduza a velocidade com regras de QoS (no linux, verifique o comando "tc"). Além disso, leia isto . É assim que as pessoas que executam este mesmo site resolvem os problemas usando o Haproxy.
OK, isso é frustrante, meu site recebeu milhares de page views / conexões nos últimos três dias e, finalmente, ficamos sem largura de banda mensal. Compramos mais largura de banda e fechamos o site para manutenção. Verificamos os logs e encontramos um IP responsável e o banimos, mas quando abrimos o site o ataque continuou. Desta vez foi de vários IPs de diferentes países, eles visitaram diferentes páginas do nosso site milhares de vezes.
O que devemos fazer?
EDITAR Isso pode ser importante: o robô ou hacker ou qualquer outra coisa parece se ater a uma página da web e visitá-la várias vezes (como a nossa página de associação ao fórum), mas quando restringimos as permissões da página, ela apenas encontra outros lugares. Estranho.
Não bloqueie o robô completamente, mas reduza a velocidade com regras de QoS (no linux, verifique o comando "tc"). Além disso, leia isto . É assim que as pessoas que executam este mesmo site resolvem os problemas usando o Haproxy.
Eu gostaria de sugerir o PHREL. Ferramenta muito pequena e simples que facilita o bloqueio dinâmico de IPs abusivos. Eu implantei em alguns servidores de nomes de armazenamento em cache com resultados imediatos. Teste um pouco e descubra quais são os seus limites e deixe-o rasgar!
Jogar whack-a-mole geralmente é um esforço infrutífero, mas pode ser a única opção aqui.
Você poderia possivelmente automatizar a identificação de seus porcos da largura de banda. Eu observaria o monitoramento dos logs da web e a identificação de um comportamento anormal como o mesmo IP que analisa a mesma página mais de uma vez por segundo durante um período de tempo definido, ou alguma outra métrica semelhante. Você não menciona qual plataforma é essa, mas seria um pouco mais fácil implementar no Linux do que no Windows.