sign_and_send_pubkey: signing failed: agent refused operation
Isso aponta para o caso em que seu ssh-agent está em uso. Para excluí-lo do caso de uso, tente se conectar sem ele:
SSH_AUTH_SOCK="" ssh server2
Se funcionar, é um problema em ssh-agent . Pode ser um problema que seja uma ferramenta diferente falando este protocolo ( gnome-keyring ) que não conhece esse tipo de chave ( ed25519 ) ou muitas razões diferentes.
Qual tipo de chave é essa? Mostre-nos a chave pública para investigar melhor se nenhuma das alternativas acima funcionar.