O pôster que se referiu ao SELINUX acertou na cabeça pelo meu problema, eu não quero usar o selinux, mas tinha esquecido de desativá-lo, e o servidor veio com o selinux ativado na inicialização.
ssh -v
Debug ajudou. A chave é aceita:
debug1: Found key in /var/lib/amanda/.ssh/known_hosts:19
debug1: ssh_rsa_verify: signature correct
E então recebo o erro
debug1: Next authentication method: gssapi-with-mic
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_502' not found
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_502' not found
debug1: Unspecified GSS failure. Minor code may provide more information
debug1: Unspecified GSS failure. Minor code may provide more information
Credentials cache file '/tmp/krb5cc_502' not found
Minha correção foi desligar o selinux com setenforce 0
e desabilitar em / etc / selinux. Então o login sem senha do ssh funcionou para mim.