Se o seu kernel tem suporte para o iptables recent (a maioria faz), algo como o seguinte permitirá 6 conexões em 60 segundos, e depois soltar as conexões daquele endereço IP. Em vez de escrever uma tonelada de regras para bloquear vários IPs, você pode fazer isso.
iptables -I INPUT -p tcp --dport imap -i eth0 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport imap -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 6 -j DROP
iptables -I INPUT -p tcp --dport pop3 -i eth0 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport pop3 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 6 -j DROP
como alternativa, se fosse apenas um IP:
iptables -I INPUT -s 1.2.3.4/32 -j DROP
deve fazer uma queda rápida e suja desse IP