Se eu entendi, você irá bloquear mais de 3 falhas de conexão em algum serviço no servidor? Você pode fazer isso com o iptables - firewall
sudo iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --set
sudo iptables -I INPUT -p tcp --dport 22 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 4 -j DROP
Esta regra irá bloquear um IP se tentar mais de 3 conexões por minuto para o SSH. Você pode alterar a porta de destino de 22 para ssh para 80 para http ou 110 para pop3 ...