A criação do pacote TCP RST é da sua regra
-A INPUT -p tcp -j REJECT --reject-with tcp-reset
A política padrão (ACCEPT no seu caso) aplica-se apenas aos pacotes que não correspondem a nenhuma das regras da sua cadeia. Se um pacote corresponder à regra acima com o alvo REJECT, ele não estará sujeito à política padrão e será REJEITADO (e gerará um TCP RST) em vez de ACEITO.
Este TCP RST não corresponde à sua regra:
-A OUTPUT -m state --state RELATED,ESTABLISHED -j ACCEPT
porque não está RELACIONADO a outra conexão estabelecida e não faz parte de uma conexão ESTABLISHED. Ele continuará através de suas regras e corresponderá
-A OUTPUT -m limit -j LOG --log-prefix "UNKNOWN_OUTGOING: " --log-level 5
e termine no seu log. Se você não deseja registrar esses pacotes RST, ajuste essa regra para não combiná-los ou insira uma regra anterior para corresponder aos pacotes RST e, assim, algo com eles antes que eles cheguem aqui.
Outra coisa que estou notando é que o primeiro pacote que você está registrando é um pacote SYN / ACK de um servidor remoto, que se parece com um pacote de resposta do servidor remoto para um pacote SYN que você teria enviado anteriormente para iniciar o conexão com o host remoto na porta 80. Se você não enviou um SYN inicial, eu não acho que a conexão seria igual a 'ESTABLISHED', mas se você enviou um SYN então eu acho que a conexão deve ser 'ESTABLISHED'. Isso pode estar mexendo com qual regra seu RST acaba combinando.