Eu tenho um site de mídia e problemas de usuários vindo e raspando todo o conteúdo. Eu coloquei uma URL invisível na página para capturar spiders que imediatamente bloqueia o ip, mas algumas pessoas descobriram o esquema de URL e estão criando seus próprios scripts.
Todos os filtros fail2ban que tenho visto até agora lidam com tentativas de login malsucedidas, mas desejo um que seja mais avançado e detecte, em seguida limite a taxa e / ou bloqueie os usuários. As urls que os raspadores usam são todas válidas, então se elas forem lentas o suficiente, eu não serei capaz de dizer, mas eu imagino que posso manter os amadores fora do fail2ban.
Como posso implementar esse filtro no fail2ban da maneira correta, minimizando meus falsos positivos em usuários legítimos?
Eu não tenho certeza se o fail2ban é a ferramenta certa aqui; talvez você queira ver algo como mod_security ( link ). Você poderá rastrear solicitações de uma sessão ou contexto ip, definir regras para descrever o tráfego suspeito e, em seguida, negar / desacelerar de acordo.
EDIT: Você não especificou, então estou assumindo que você está usando o Apache.