Este é exatamente o tipo de coisa em que o fail2ban é bom.
Dê uma olhada no seu error_log e observe as mensagens que são geradas quando ocorre uma falha de login.
Agora, veja os filtros fornecidos pelo fail2ban (fail2ban / filter.d). Um deles pode já estar configurado para reagir ao tipo de mensagens de erro que você viu anteriormente, então tudo que você precisa fazer é habilitá-lo no fail2ban / jail.conf.
Se nenhum dos filtros pré-fornecidos fizer o que você quer, geralmente é bastante simples construir o seu próprio.