Essa regra do iptables não impedirá ataques de inundação SYN. Como você diz, ele irá remover qualquer novo pacote TCP não-SYN. Ele aceitará apenas novas conexões TCP, que incluem um pacote SYN.
Para evitar ataques de inundação SYN usando iptables, você precisaria empregar a limitação de taxa.