Alterar classe de armazenamento do Amazon S3 em MUITOS arquivos

Question

Estamos usando o Amazon S3 e uma grande quantidade de nossos arquivos tem a classe de armazenamento STANDARD. Queremos mudar isso para a classe REDUCED_REDUNDANCY para economizar o dinheiro extra.

No entanto, tem sido difícil encontrar uma maneira de fazer isso que não levasse mais de uma semana para ser executada. Fazer isso a partir do Console da Web da AWS foi extremamente lento e testes anteriores com o Bucket Explorer também provaram ser muito lentos.

Talvez não exista uma maneira rápida de fazer isso, mas resultados anteriores mostraram que o s3cmd era bastante rápido. É só que não parece ser capaz de mudar a classe de armazenamento (a menos que você envie / copie um arquivo).

Alguém sabe de uma maneira rápida de fazer isso?

    

Answer 1

O problema que você está enfrentando é que a latência de cada solicitação individual é alta. A solução para esse problema na AWS é paralelizar as solicitações em alto grau, em vez de fazer solicitações completamente sequencialmente.

O AWS / S3 é configurado para lidar com centenas e milhares de solicitações em paralelo, sem qualquer degradação no desempenho. Isso provavelmente exigirá que você faça um pouco de programação usando a API, ou você pode obter algum benefício (duplo, triplo, ...) com sua interface de usuário confortável existente, fazendo a solicitação várias vezes em diferentes janelas para diferentes segmentos do S3. objetos.