Você não mencionou que instalou a chave pública no host remoto, então esse pode ser o problema. Ele precisa ser anexado ao $HOME/.ssh/authorized_keys
no host remoto. Se você estiver usando o github, poderá adicionar a chave nas configurações da sua conta.
Existe um script auxiliar para instalar uma chave no host remoto disponível em algumas distribuições linux como o Ubuntu.
ssh-copy-id remoteuser@remotehost
Você provavelmente também não precisa renomear nada. Se você não possui nenhum requisito não padrão e configura o ssh a partir do zero:
ssh-key-gen
e pressionando enter nos prompts deve ser suficiente. Depois disso, você precisa instalar o id_rsa.pub no host remoto (você pode usar o método descrito acima).