Eu não acho que suas chaves foram copiadas corretamente, se você tem ssh-copy-id
disponível eu recomendo que você use isso.
$ ssh-copy-id user@remote_server
Password:
Uma vez que você tenha digitado a senha, sua chave SSH será copiada e você deverá ser capaz apenas de ssh sem fornecer a senha novamente.
Verifique também a configuração do SSH em ServerB e verifique algumas coisas.
$ vi /etc/ssh/sshd_config
Outra coisa é verificar essas configurações:
RSAAuthentication yes
PubKeyAuthentication yes
AuthorizedKeysFile %h/.ssh/authorized_keys
O valor de AuthorizedKeysFile é onde você precisa colar sua chave ssh pública.
Você pode coletar suas informações de chave SSH usando: ssh-add -L
Atualizado
Quando ssh-copy-id
não existe, você pode fazer da maneira antiga:
$ cat ~/.ssh/id_rsa.pub | ssh user@remote_host 'cat >> /home/user/.ssh/authorized_keys'