O librsync realmente reduz a largura de banda para o Amazon S3

Question

Eu estou olhando para fazer alguns backups para o S3 e quero reduzir a largura de banda, tanto quanto possível. Eu estou olhando algumas opções. Parece que o librsync é a melhor solução para backups remotos de baixa largura de banda.

Eu tenho lido sobre como funciona o librsync. E parece que o terminal remoto precisa calcular a soma de verificação nos blocos dos arquivos que está comparando (assim como o final local). Eu diria que o S3 não pode fazer esses cálculos de soma de verificação, uma vez que ele só serve arquivos.

Eu também li que o S3 não suporta a separação de arquivos em partes. Só pode oferecer o arquivo inteiro ou nada.

Se ambas (ou ambas) forem verdadeiras, o librsync seria essencialmente inútil? Alguém pode esclarecer isso para mim?

Obrigado.

    

Answer 1

Eu acho que o librsync é apenas uma implementação do algoritmo. Pode ser usado de várias maneiras. O padrão de uso "normal", como usado no programa rsync original, espera que o destinatário ofereça suporte à geração remota de hash. O Duplicity também usa o librsync, mas pré-calcula os hashes, e portanto não precisa de suporte remoto além do armazenamento de arquivos.

Mais informações: link . Especificamente:

duplicity is a variation on rdiff-backup that allows for backups without cooperation from the storage server, as with simple storage services like Amazon S3. It works by generating the hashes for each block in advance, encrypting them, and storing them on the server, then retrieving them when doing an incremental backup. The rest of the data is also stored encrypted for security purposes.

Eu ainda estou pesquisando também, mas minimamente se usar Duplicity, desabilitar SSL (s3-unencrypted-connection) e aumentar o parâmetro volsize deve ajudar a conservar a largura de banda.