Não tenha 'listen *: 80' ao mesmo tempo que 'listen [::]: 80' (e da mesma forma para a porta 443).
Por estar em um host IPv4 / IPv6 de pilha dupla, se você ouvir em uma porta TCP IPv6 X e não houver nada escutando na porta TCP do IPv4 X, você obterá as duas. Se você vir uma conexão como: ffff: 1.2.3.4 (onde 1.2.3.4 é um endereço IPv4), então é isso que está acontecendo. Isso é chamado de endereços IPv6 mapeados por IPv4.
Isso, quando o nginx vai escutar na porta IPv4 80 (0.0.0.0:80), ele vai encontrar o fato de que ele também efetivamente fez isso (via [:::::80]. >
Existem muitos detalhes específicos da implementação em torno desse comportamento, mas, a menos que você seja versado em programação de rede, não os mencionarei aqui.
Espero que ajude, Cameron