Eu uso o OSSEC (http://www.ossec.net/). Ele faz análise de log, mas também possui opções de resposta ativas (adição e remoção de entradas iptables e hosts.deny dinamicamente) com configuração mínima. Tem várias regras padrão, mas você pode adicionar o seu próprio. Eu testei e usei em produção com máquinas CentOS, Ubuntu e Slackware (físicas e VPS).
A instalação é muito fácil (ajustá-lo, principalmente configurando-o para ignorar algumas regras, é o que leva mais tempo). Se você usá-lo e ativar as funções de resposta ativa, os padrões geralmente são bons o suficiente.
Sugiro deixar o tempo de bloqueio padrão (alguns minutos), adicionar uma lista de desbloqueio com seu IP (ou o IP de outro servidor em que você confia, caso seu IP não seja estático e o servidor o bloqueie).
Além disso, se você precisar de um gerenciamento de bloqueio mais complexo, poderá configurar o OSSEC para usar um script bash (por exemplo) para verificar e manipular o endereço IP antes de fazer o bloqueio ativo real.