Tente isto:
/sbin/iptables -I INPUT -p tcp --dport 80 -i eth? -m state --state NEW -m recent --set
/sbin/iptables -I INPUT -p tcp --dport 80 -i eth? -m state --state NEW -m recent --update --seconds 60 --hitcount 10 -j DROP
A primeira linha irá ver o IP se conectando à sua interface eth.
A segunda linha irá verificar se a conexão é nova nos últimos 60 segundos e se o fluxo do pacote é maior do que dez e, se for o caso, a conexão será eliminada.
Para bloquear o endereço IP, você deve digitar:
/sbin/iptables -A INPUT -s xxx.xxx.xxx.xxx -j DROP
Se você quiser apenas bloquear o acesso a uma porta de um ip, você deve digitar:
/sbin/iptables -A INPUT -s xxx.xxx.xxx.xxx -p tcp --destination-port 25 -j DROP
A regra acima eliminará todos os pacotes vindos do IP xxx.xxx.xxx.xxx para a porta 25.