StrictModes
está ativado por padrão no CentOS e em outras distribuições.
Se você criou os arquivos no host que não funcionam, essa é a causa mais provável desse problema.
Certifique-se de que ~/ssh/
na máquina remota seja 700 e que ~/.ssh/authorized_keys
esteja definido como 600.
$ chmod 700 ~/.ssh
$ chmod 600 ~/.ssh/authorized_keys
Se isso não corrigir o problema, verifique seus registros para ver se o SELinux está tendo problemas ou apenas renomeie o diretório com:
$ restorecon -Rv ~/.ssh
Mas se esse for o problema, você deve ter entradas de log em /var/log/audit
na máquina remota.