Meu entendimento é que o fail2ban pode ser configurado para enviar notificações por e-mail quando hosts que parecem estar atacando o sistema são detectados. Se você precisar testar isso e tiver acesso a outro sistema que não se importe de ser banido, simplesmente tente fazer o login incorretamente algumas vezes (para exceder o limite configurado).
Antes de fazer isso, sugiro confirmar que o correio funciona da linha de comando para começar, pois o fail2ban é configurado apenas para usar um mta (provavelmente o sendmail ou o binário sendmail do postfix):
echo "test message" | mailx -s 'test subject' [email protected]
Isso informará se o e-mail está funcionando.