Assumindo que as permissões do sistema de arquivos estão corretas em ~ / .ssh / *, então verifique a saída de
sealert -a /var/log/audit/audit.log
Deve haver uma pista em uma entrada do AVC. O mais provável é que a solução se reduza à execução:
restorecon -R -v ~/.ssh