fail2ban faz isso, embora eu não ache que seja a única ferramenta desse tipo. ( Espantado mencionado DenyHosts , embora pareça específico para SSH.
Eu costumava usar um software Linux que monitora logs como http, ssh, etc e, se detectar que alguém está tentando usar a força bruta, bloqueia esse ip adicionando uma regra ao iptables. Eu esqueci o que esse software é chamado. É opensource e gratuito.