Erro “Não é possível atribuir o endereço solicitado” quando o ssh-ing para o servidor remoto

Question

No Ubuntu 14.04 eu instalei o openssh, mudei a porta ssh. Eu consigo logar na LAN sem problemas, mas não consigo acessá-la de fora.

Eu também tenho: permiti-lo embora firewall e configurar o encaminhamento de porta no meu roteador Linksys

Sempre que eu faço login, recebo o erro (eu substituí # em vez de números):

ssh: connect to host #.#.#.# port #: Can't assign requested address

O que mais posso verificar? O que pode estar errado? Por favor ajude.