Você pode querer se familiarizar com o fail2ban : é um software que monitora arquivos de log em busca de atividades suspeitas e proíbe o endereço IP de origem para o quantidade de tempo desejada, mesmo indefinidamente. Também é possível enviar uma notificação por e-mail com os detalhes da ameaça e a ação tomada.
Fail2ban scans log files (e.g. /var/log/apache/error_log) and bans IPs that show the malicious signs -- too many password failures, seeking for exploits, etc. Generally Fail2Ban is then used to update firewall rules to reject the IP addresses for a specified amount of time, although any arbitrary other action (e.g. sending an email) could also be configured. Out of the box Fail2Ban comes with filters for various services (apache, courier, ssh, etc).