Há dois problemas em jogo aqui e ambos envolvem o seu modem.
Em primeiro lugar, o próprio modem tem acesso SSH disponível. Concedido, é em um antigo mecanismo de troca de chaves, que é em si um risco de segurança, mas não há nada que eu possa fazer sobre isso aqui. Isto é o que você está alcançando quando você SSH para o endereço IP público de fora em sua rede - o shell de gerenciamento remoto para o seu modem.
Verifique a interface de gerenciamento do seu modem para opções de "gerenciamento remoto" e veja se há uma opção SSH lá. Se houver, desative-o.
Em segundo lugar, o modem que você especificou não tem "encaminhamento de porta", parece uma opção. Às vezes, isso também é listado como "NAT". Se não houver capacidade de encaminhamento de porta para o seu modem e nenhuma maneira de personalizar como o tráfego é roteado quando proveniente de fora em seu modem para rotea-lo em sistemas internos, em vez de aceitar a conexão diretamente ao modem, não há como chegar ao seu servidor que está por trás do modem.
(Meu palpite é que o 'modem' é na verdade um roteador, curiosamente, mas não é incomum que um modem e um roteador sejam o mesmo componente combinado nos mercados consumidores)