Como outros sugeriram, eu começaria verificando se o diretório .ssh tem permissões de 700. Certifique-se de que nenhum outro usuário tenha permissões de gravação para o seu diretório pessoal. Se outro usuário puder gravar em seu diretório pessoal, poderá alterar / alterar qualquer coisa, incluindo a pasta .ssh. Eu permiti permissões de gravação de grupo ao meu diretório inicial e o OpenSSH recusou a conexão até que eu redefinisse o perms.