SSH para o servidor ubuntu da internet através de 2 roteadores

Question

Eu preciso acessar meu servidor Ubuntu remotamente, por ssh. O problema é que não consigo descobrir o que estou fazendo errado.

Eu tenho uma chave ssh configurada, funciona na rede local, eu permiti AllowTcpForwarding e Gatewayports (definido como sim), eu especifiquei a porta que eu quero (50123 por exemplo) e eu configurei a Listenaddress para o endereço IP interno do servidor (algo como 192.168.1.60).

No roteador conectado à internet eu tentei abrir a porta 50123 no ip do meu segundo roteador (digamos 192.168.1.X) e neste segundo roteador eu enviei a porta 50123 para o endereço local do meu servidor - 192.168.1.60. Isso soa o caminho lógico para ir.

O que estou perdendo? Qualquer ideia pode ser útil, eu já li muitas postagens e agora não entendo o que está me escapando