Você pode usar
fuser <source_port>/tcp
ou
netstat -anp | grep :<source_port>
que deve fornecer o PID (e, no caso do netstat, também o nome) do processo que está usando a porta TCP local.
Você precisa ser razoavelmente rápido para capturar a conexão no estado SYN_SENT antes de expirar. Você pode até mesmo criar um script que analise a saída do log do iptables e execute a pesquisa imediatamente quando a conexão for registrada.