Talvez você esteja recebendo muitas correspondências para essa regra. Tente adicionar um limite a essa regra. Por exemplo:
/sbin/iptables -I FORWARD -i eth-int -p tcp --tcp-flags SYN,ACK,FIN,RST SYN -m limit --limit 10/min -j LOG --log-prefix ipt-dmz