Estou assumindo que o seu roteador está fazendo NAT aqui (o que a maioria dos roteadores domésticos faz). Nesse caso, os pacotes de entrada só serão encaminhados se corresponderem a uma conexão NAT atual, o que significa que todos os IPs e portas de origem e de destino devem corresponder, portanto, você está correto apenas com os pacotes relevantes sendo encaminhados.
Observe que não há uma porta de escuta nesta situação (ou seja, não há um processo que esteja aceitando conexões) - o roteador é apenas roteamento e pacotes IP NAT.
Mesmo que o roteador encaminhe cegamente pacotes não relevantes para a conexão, eles serão descartados pela máquina de destino porque não fazem parte de uma conexão TCP aberta (e não pode haver um processo de escuta nessa porta porque é sendo usado para uma conexão de saída).