fail2ban
é praticamente o que você está descrevendo.
Você diz o que assistir e o que fazer se algo for acionado.
Ele vem com um monte de scripts que observam auth.log
abuses (que desencadeiam o iptables bans), entre outras coisas. Eu até liguei um site Wordpress para acionar o bloqueio de IP se alguém tentar forçar a página de login.
A sintaxe não é completamente óbvia, mas é flexível.