Eu não acho que iptables tenha essa capacidade. Eu acho que sua melhor aposta é:
- configure o log especial para
iptables(-j LOG --log-prefix "NEW_CONN_ATTEMPT ") - monitor log com
tail - execute seu comando quando uma correspondência for encontrada
Para 2 e 3, um oneliner como este faria o truque:
tail -f /var/log/firewall.log | awk '/NEW_CONN_ATTEMPT/ {system("/usr/local/bin/script.sh")}'