É por causa de como funciona a rede. Tudo atrás do seu roteador está passando por um NAT (tradução de endereço de rede), o que significa que o seu servidor compartilha apenas um endereço IP quando passa pelo roteador, mas atrás do roteador cada dispositivo tem um ip único, mas isso é único o roteador. Esse também é o motivo pelo qual o encaminhamento de porta é necessário, caso contrário, o roteador não saberia para qual computador enviar a solicitação.