Tente isto:
iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --set
iptables -A INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 5 -j DROP
ele eliminará as conexões de entrada se o IP fizer mais de 5 tentativas de conexão para a porta 80 em um minuto.