O SSH daemon precisa estar ouvindo na máquina que você está tentando conectar (e ser configurado para aceitar a conexão ).
A máquina que você está tentando conectar também precisará ter uma porta aberta se estiver executando um firewall ; o padrão para o SSH sendo 22.
Se ele estiver atrás de um roteador, você precisará ter um encaminhamento de porta .
O Arch Wiki tem um bom guia sobre configuração do SSH .
Se você pretende configurar um daemon SSH, é strongmente recomendado que use público chaves em vez de senhas para autenticar e desativar a autenticação de senha com as seguintes linhas no seu /etc/ssh/sshd_config
:
# To disable tunneled clear text passwords, change to no here!
PasswordAuthentication no
PermitEmptyPasswords no
Veja também estas outras perguntas: