Como você afirma na sua pergunta, cada máquina tem um IP atribuído pelo roteador. Esse é o endereço ao qual o SSH está se conectando. 22 é a porta SSH padrão, mas isso pode ser alterado dentro da máquina que está executando o servidor (recebendo conexões). E o par IP: port é o endereço completo que precisa ser fornecido ao cliente SSH (programa SSH que se conecta ao servidor).
Você deve se conectar à máquina e não ao roteador. O roteador tem seu próprio IP. Você o usaria para redirecionar o tráfego de fora da sub-rede desse roteador. Nesse caso, você precisa de dois forwards diferentes. Por exemplo, 22 redirecionando para o 22 e o 2222 do Linux para o Windows '22.