Embora seja possível, isso é algo que é mais bem tratado na camada de aplicativos.
Fail2ban é um software usado com frequência que pode verificar seus registros de acesso para determinadas mensagens e, em seguida, adicionar Regras iptables para bloquear IPs ofensivos.