Suponho que você tenha uma máquina do CentOS / RHEL (de acordo com a versão do OpenSSH) e tenha etiquetas SELinux erradas em algum lugar no caminho para esses arquivos. restorecon -FR ~/.ssh do shell de usuários deve corrigi-los. Caso contrário, forneça a listagem de ls -lZd ~ ~./.ssh ~/.ssh/authorized_keys_file .
Observe que algum erro deve estar visível no log do servidor ( /var/log/secure ) quando você aumentar o nível de registro.