Seu IP público é atribuído ao seu roteador. E é o único IP que você acessa de fora da sua LAN. Se as pessoas se conectarem ao endereço IP do seu roteador, o pacote irá para o seu roteador.
O roteador não pode encaminhar esse pacote para o seu servidor com o endereço IP do roteador como seu destino. Se o fizesse, seu servidor apenas o encaminharia de volta ao roteador em vez de processá-lo localmente.
Da mesma forma, para que o pacote de retorno vá para o destino correto, o roteador deve garantir que as respostas cheguem ao roteador. Assim, o endereço de origem (como visto pelo servidor) será sempre na direção do roteador (nunca outro IP da LAN).
Portanto, esse é todo o comportamento esperado com o encaminhamento de porta e o NAT suspenso. Conexões de fora da sua LAN devem mostrar o endereço IP de origem correto no servidor. Caso contrário, tudo é reescrito pelo roteador para garantir que todos os pacotes passem pelo roteador.