O que o log diz? Connection established.
seguido por ssh_exchange_identification: Connection closed by remote host
significa que a conexão entre o cliente e o servidor foi estabelecida, mas o ssh não pôde ser iniciado.
Na minha humilde experiência, isso geralmente é causado por se
TCP_wrapper bloqueando o SSH: verifique se as regras nos arquivos /etc/hosts.{allow,deny} no host do servidor permitem a conexão com o daemon SSH,
ou por um erro de digitação na configuração do daemon SSH do servidor que o impede de responder como esperado. log irá dizer, por exemplo, sshd[6652]: fatal: /etc/ssh/sshd_config line 134: Directive 'Port' is not allowed within a Match block