Tem certeza de que você fez a coisa correta no roteador (isto é, funciona com outra porta em outro serviço)?
Estou perguntando porque "conexão recusada" acontece no nível do TCP e a razão geralmente é que ninguém está escutando naquela porta na máquina de destino (isso seria o equivalente do sshd não estar rodando) ou algum firewall bloqueando-a.
Como você diz que funciona com um endereço da sua rede local, parece que o roteador não está fazendo o encaminhamento ou encaminha para outra pessoa.