Eu percebi isso.
iptables -A INPUT -p tcp --dport 1234 -m state --state NEW -j ACCEPT
iptables -I INPUT -p tcp --dport 1234 -m hashlimit --hashlimit-mode srcip,srcport --hashlimit-name HASHNAME --hashlimit-htable-max 5000 --hashlimit-htable-expire 10000 --hashlimit-above 5/sec -j DROP