Este é um caso padrão de limitação de taxas:
iptables -I INPUT -p tcp --dport 25 -i eth0 -s 192.168.0.0/24 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport 25 -i eth0 -s 192.168.0.0/24 -m state --state NEW -m recent --update --seconds 30 --hitcount 2 -j DROP
Aqui eu assumi que sua LAN é 192.168.0.0/24 e sua interface é eth0 , se não, por favor mude de acordo.
A primeira regra detecta todos os pacotes NOVO vindos de eth0 da sua LAN, e destinam-se à porta TCP 25, e adiciona o endereço IP ao recente lista; o segundo comando, após o recebimento de um pacote NOVO na mesma porta, verifica a lista recente ( - update ) e, se o endereço foi inserido na lista a menos de - segundos 30 atrás, descarta o pacote se o número de - hitcounts 2 tiver sido alcançado.
Por favor note que isto é aplicado somente aos NOVOS pacotes: se você tem uma conversa legítima acontecendo, você não quer se inter-combinar com isso, apenas bloquear o estabelecimento de um outro. Nisso, minha resposta difere completamente da de Angelo