Como carregar com segurança muitos GB de dados no Amazon S3?

Question

Estou fazendo o backup de minha biblioteca pessoal de fotos / vídeos para o Amazon S3 (várias centenas de GB).

No momento, estou usando o Cyberduck no meu Mac para arrastar & cair, mas eu já tive algumas falhas sem um comportamento retry / resume claro.

Gostaria de encontrar uma maneira de fazer o upload de um diretório com a certeza de que eles foram totalmente transferidos e de uma maneira clara de tentar novamente / retomar qualquer falha.

O que você recomendaria? Uma abordagem de linha de comando está bem.

    

Answer 1

De acordo com o seu problema, você pode tentar o Gerenciador de balde

Recursos do Bucket Explorer

• Você pode procurar baldes e arquivos armazenados no Amazon S3.
• Carregue e faça download de arquivos para e de buckets do Amazon S3.
• O Bucket Explorer funciona em todos os sistemas operacionais nos quais o Java é suportado.

O

Bucket Explorer é fornecido com o recurso de upload Multipart. Isso permite que você faça o upload de um único objeto como um conjunto de peças. No processo de upload, cada parte é uma parte dos dados do objeto e cada parte pode ser carregada de forma independente. Upload Multipartes oferece muitos benefícios em relação ao upload simples, especialmente quando o tamanho do objeto é muito grande.