Você tem certeza que isso é sobre o iptables e não sobre o xx.xx.xx.xx
server que suas regras estão encaminhando o tráfego? O xx.xx.xx.xx
responde a você durante essa janela de tempo de 2-3 se você tentar conectá-lo diretamente?
Eu suspeito que você precise fazer algo no seu servidor de destino e não nas regras do iptables. Veja os logs do servidor e veja se qualquer aplicativo está escutando em xx.xx.xx.xx
cuspiu algo lá para você ler.