Eu acho que você quer dizer que você quer se conectar ao servidor de casa de fora de sua casa, correto? Você não se conecta via SSH ao roteador para isso; você acabou de dizer ao roteador para passar a conexão para o servidor doméstico. Se este for o caso, continue a ler. Se não, esclareça ainda mais a questão.
Você terá que dizer ao roteador para passar o tráfego de entrada na porta SSH para o seu servidor interno. Isso geralmente é chamado de "encaminhamento de porta" ou similar. Consulte o Google ou talvez o link para obter guias específicos do seu roteador sobre como fazer isso. Geralmente, ele é tratado por meio de alguma interface da web que você vê quando insere o endereço IP interno do roteador (geralmente 192.168.0.1 ou 192.168.1.1) em um navegador de dentro da rede doméstica.
Encaminhar, e. porta 22 para o protocolo TCP (a porta SSH padrão) do seu roteador para o seu servidor doméstico. Depois disso, e você tem um servidor SSH em execução no servidor, basta conectar via SSH ao seu IP externo (que é "propriedade" do roteador), que encaminhará a conexão ao servidor.