Eu adicionei este mesmo problema ontem, na verdade você provavelmente declara um nome de host em sua configuração ssh e usa um diferente para conectar.
No meu caso eu tinha declarado o hostname foobar e eu estava tentando se conectar em 192.168.0.55 . Eu estava terminando exatamente com o mesmo comportamento.
Espero que isso ajude.