Eu usaria o fail2ban para fazer isso. Já está configurado para assistir a arquivos de log e agir sobre eles se houver falhas de autenticação X.
Os padrões padrão provavelmente não correspondem às falhas de login locais, mas você pode adicionar facilmente seus próprios. E você pode configurar ações personalizadas para tomar em vez do padrão bloqueando um IP no iptables.