Faça uma varredura da porta externa e verifique se a porta está realmente aberta. Além disso, em vez de mapear uma porta aleatória para a porta real, apenas mapeie 22 para o seu servidor - uma etapa a menos no processo de roteamento.
Como nota final, se o seu modem for na verdade um modem / roteador, esses problemas sempre surgem se você tiver outro dispositivo por trás dele manipulando o roteamento e o encaminhamento de porta.