Tente ssh -v ou ssh -v -v ou mesmo ssh -v -v -v (cada um aumenta o modo de detalhamento). Com este "modo de depuração", talvez seja mais fácil lidar com o problema.
Isso fornecerá mais informações para que você possa localizar o problema e corrigi-lo.