Existem várias ferramentas neste espaço; no entanto, peço cautela ao usá-los, já que muitos foram encontrados com explorações que os tornam piores do que não tê-los.
Você também precisará decidir qual serviço está protegendo. HTTP, SMTP, POP, etc. têm ferramentas diferentes.
Por exemplo, fail2ban: link
Pode ser personalizado para bloquear vários hits de log.