O comando a seguir usa meu pubkey e não solicita uma senha, mesmo que eu tenha uma senha válida e um pubkey válido para o host remoto. Verifique também se você não tem uma senha definida em .ssh/config
apenas para garantir.
rsync -av /home/user user@hostname:/home/user/backup