Eu adicionei este mesmo problema ontem, na verdade você provavelmente declara um nome de host em sua configuração ssh e usa um diferente para conectar.
No meu caso eu tinha declarado o hostname foobar
e eu estava tentando se conectar em 192.168.0.55
. Eu estava terminando exatamente com o mesmo comportamento.
Espero que isso ajude.