Verifique se /var/log/auth.log
ou /var/log/secure
ou outro arquivo semelhante depende do seu sistema. Há uma chance de você encontrar alguns registros como:
sshd[32458]: Authentication refused: bad ownership or modes for directory some_other_directory
E depois você deve checar propriedades e modos para aquela pasta e consertá-la corretamente: seu diretório home e .ssh não devem ter permissões de gravação em grupo e outras.