Não sei como você pode fazer isso no iptables, mas eu recomendo que você dê uma olhada no OSSEC, que bloqueia repetidamente ofensores automaticamente. Você também pode dar uma olhada no CloudFare, eles também têm um pacote gratuito e são especializados na mitigação de DDoS, já que o que você precisa fazer é eliminar o tráfego antes que chega até você. Se o endereço for apenas um endereço IP, eu o descartaria permanentemente.
Eu alterei uma regra de iptable de aqui , dê uma olhada:
iptables -I INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --set
iptables -I INPUT -p tcp --dport 80 -i eth0 -m state --state NEW -m recent --update --seconds 60 --hitcount 50 -j DROP