Verifique se os pacotes possuem um recurso distintivo, por exemplo, sendo todos do mesmo tamanho.
Normalmente, com inundações SYN com script, eles enviam um pacote "simples" apenas com o cabeçalho e sem carga útil. Ele acaba sendo um pacote de 40 bytes (se bem me lembro).
Se for esse o caso, você pode simplesmente remover todos os que estão com iptables, já que nenhum pacote "normal" se parece com isso.
Ah, prepare-se para uma enxurrada de conselhos inúteis de pessoas que realmente não entendem como as inundações por SYN realmente funcionam.