Para mim, seu problema pode estar relacionado a um problema de permissão , pois o SSH solicita um login (por isso não é um problema de porta) e uma senha (por isso, PasswordAuthentication é definido para sim, que é o padrão de qualquer maneira).
De fato, a maneira como o sshd trabalha por padrão é que ele tenta ler chaves SSH públicas antes pedindo uma senha, e se seu ~/.ssh/authorized_keys tem permissões erradas, bem, o manual diz que sshd não permitirá que você faça o login (veja abaixo).
Com nenhuma outra informação sobre sua configuração de sshd (é AuthorizedKeysFile ainda comentou; você realmente usa chaves SSH, etc.), meu palpite foi feito lendo o manual sshd :
~/.ssh/authorized_keys
Lists the public keys (DSA/ECDSA/RSA) that can be used for logging in as this user.
The format of this file is described above. The content of the file is not highly
sensitive, but the recommended permissions are read/write for the user, and not
accessible by others.
If this file, the ~/.ssh directory, or the user's home directory are writable by
other users, then the file could be modified or replaced by unauthorized users. In
this case, sshd will not allow it to be used unless the StrictModes option has been
set to “no”.
Você pode ls -l ~/.ssh/autorized_keys e verificar que somente o usuário pode ler esse arquivo?
Para garantir que apenas o usuário possa ler esse diretório, use: chmod -v a-w,u+w ~/.ssh/authorized_keys . A opção -v é para chmod para informá-lo das alterações que ele fez (se houver), a-w,u+w é remover as permissões de gravação para todos e, em seguida, devolver as permissões de gravação do usuário.