Custo da AWS para upload para S3 e transição imediata para a geleira

Question

Eu tenho um cliente fazendo o upload de vários TB de dados para o Glacier. Eles fizeram uma bola de neve que conseguiu 65 TB de dados, e eles vão fazer o restante ~ 25 via upload. Atualmente, eles estão fazendo o upload diretamente para o Glacier com o FastGlacier, mas essa ferramenta está sendo executada em sua única máquina Windows (uma loja completa do Mac) e está constantemente travando devido ao enfileiramento de tantos dados. Além disso, este programa deixa muito a desejar no que diz respeito à pesquisa / navegação na loja, como para visualizar arquivos no Glacier você precisa baixar o inventário (com o prazo de 4 a 6 horas).

Por questões de consistência, gostaríamos de fazer o upload para o compartilhamento S3 que usamos para o Snowball, com a mesma transição de 0 dias para o Glacier usando uma regra de gerenciamento do ciclo de vida, mas não incorrer em custos enormes do S3 . Eu sei que os custos do S3 são baseados no uso médio ao longo do mês, mas não tenho certeza de como estimar isso.

    

Answer 1

A visão geral dos serviços de armazenamento da AWS whitepaper (dois links) diz" Você pode especificar um período de tempo absoluto ou relativo (incluindo 0 dias) após o qual os objetos especificados do Amazon S3 devem ser transferidos para a Amazon Geleira ".

Regras do ciclo de vida do S3 dizem que você não pode fazer a transição dos dados do S3 para acessar raramente a classe de armazenamento até 30 dias após o upload. No entanto, você pode fazer a transição para o glaciar imediatamente - "0 dia" parece ser uma configuração válida.

Eu tentei isso sozinho. Eu criei um novo bucket com uma regra de ciclo de vida para fazer a transição para o glacier após 0 dias. Eu enviei um pequeno arquivo usando a classe padrão S3. O arquivo foi alterado para a classe de armazenamento glacier entre 5 e 8 horas após o upload. Eu não posso dizer mais precisamente porque eu não vejo nenhum log sobre isso, e eu só verifiquei ocasionalmente.

Você pode considerar o uso de um gateway de armazenamento , mas isso depende da execução de uma máquina virtual localmente. Ele armazena dados no S3, então você precisa fazer a transição usando as regras do ciclo de vida. Um cliente de upload pode ser mais fácil, considerando o tempo que levaria.

Existem clientes do Glacier que são executados no mac, como o Freeze , Glacier Uploader e outros.