FYI:
1) A chave pública está sempre no diretório inicial do usuário que está efetuando login no servidor remoto, ou seja, se você fizer login como "backup", ela estará localizada em /home/backup/.ssh/authorized_keys. O ID do usuário quando você faz login define a chave pública usada no destino.
Você pode escolher o ID do usuário ao fazer a conexão de duas maneiras diferentes:
ssh [email protected]
or
ssh -l user_id destination_server (<-- that is lower case "L")
Por outro lado, ao final, a chave privada está em uma forma semelhante no homedir do usuário, a menos que você a substitua, como descrito na resposta de Dan.
2) Para fins de backup, pode ser desejável criar uma chave restrita que é limitada para executar apenas um comando como "rsync". Há uma boa descrição sobre isso relacionada ao backup "rsnapshot" que permite fazer backup remoto do servidor inteiro usando uma conta de usuário não privilegiada e "sudo":
"rsnapshot" howto
O Rsnapshot pode facilmente fazer backup de vários servidores remotos ou locais, tornando-o acessível & servidor de backup centralizado.