Embora a questão não esteja totalmente clara, suspeito que a resposta é que você autorizou a chave para o usuário errado.
Quando você diz que adicionou a chave a ~/.ssh/authorized_keys , isso significa que a chave é válida apenas para fazer o login para esse usuário (o que quer que seja). Portanto, se você estava logado como userA , isso significa que a chave será usada apenas se você tentar efetuar login como userA novamente, mas não será usado se tentar efetuar login como userB .
Por padrão, o ssh registrará você como o usuário remoto com o mesmo nome do usuário local. Portanto, se você estiver conectado ao sistema local como userA , o ssh tentará fazer o login no sistema remoto como userA . Se você precisar fazer login como userB , poderá usar ssh [email protected] em vez de ssh my.server.net .