Há sempre um equilíbrio para encontrar com esse tipo de coisa. Uma falha ocasional ou pouco frequente é provavelmente um erro na parte dos remetentes. Múltiplas falhas em pouco tempo são provavelmente uma indicação de que você quer colocar uma proibição (temporária) em vigor.
É por isso que o fail2ban possui parâmetros que você pode usar para ajustar a sensibilidade. Por exemplo, você pode definir maxretry e findtime . A configuração maxretry é o número de tentativas falhas que serão toleradas dentro do findtime mais do que isso e o endereço será banido.
Eu daria uma olhada no arquivo e teria uma ideia do que está acontecendo e definiria os parâmetros adequadamente.