Certifique-se de que o nginx escuta em todos os endereços IP do servidor (a diretiva "listen"). Se um desses endereços for público, qualquer um da Internet poderá se conectar a ele, desde que não haja firewalls entre eles.
Se a rede não estiver configurada corretamente, pode muito bem ser impossível conectar-se a uma interface pública do servidor a partir da rede local. Isso sugeriria tabela de roteamento incorreta no servidor.
Para poder se conectar a (qualquer) endereço IP, uma "rota" deve existir da origem para o destino.