Use ssh-copy-id user@client e copiará os dados corretos para o local correto. Se for o mesmo usuário que você, porém, pode ser problemático, pois pode substituir algo importante. Faça uma cópia do seu diretório .ssh antes de tentar.
EDIT : Por incrível que pareça, eu tentei adicionar meu id_rsa.pub ao meu .ssh/authorized_keys e funcionou. Tem certeza de que o seu local sshd está configurado para aceitar a autenticação de chave compartilhada?