Eu não gosto de "fail2ban" porque ele "vive" na userland e tem muitas "partes móveis". Se você estiver usando o iptables na máquina, é bastante trivial limitar as novas conexões a partir do mesmo endereço IP.
iptables -A INPUT -p tcp --dport 110 -m state --state NEW -m recent --name pop --rsource --update --seconds 60 --hitcount 5 -j DROP
iptables -A INPUT -p tcp --dport 110 -m state --state NEW -m recent --name pop --rsource --set -j ACCEPT
Supondo que você tenha regras mais altas na cadeia INPUT para permitir que as conexões estabelecidas por essas regras funcionem para limitar as novas conexões TCP recebidas à sua porta POP3 (excedendo 5 em 60 segundos).