AWS S3 cobrando 4 TB de armazenamento quando usar menos de 1 GB

Question

Estou tendo problemas para entender minha grande fatura do S3 e imaginei que pediria aqui antes de pagar US $ 30 no suporte mensal da AWS.

Basicamente, eu tenho uma instância Amazon EC2 que faz uma API para diferentes trocas de criptomoedas e salva as respostas para a instância HD As chamadas são feitas a cada 5 minutos, os objetos de resposta são de aproximadamente 100 kb, lidos por um script R , e adicionado a um arquivo CSV a cada ~ 8 minutos. Esse arquivo CSV é sincronizado com um intervalo de Amazon S3 a cada 15 minutos.

Os arquivos CSV geralmente são 10 MB ou mais, por cerca de 15 criptomoedas, a cada 15 minutos. Então, olhando no bucket do Amazon S3, pode haver 0,5 GB de espaço usado no máximo.

No entanto, o 'TimedStorage-ByteHours' é de cerca de 4 TB!

Serviço de armazenamento simples da Amazon TimedStorage-ByteHrs $ 89.55

US $ 0,00 por GB - armazenamento sob o nível global gratuito mensal mensal de 5 GB - US $ 0,00

US $ 0,023 por GB - primeiro 50 TB / mês de armazenamento usado 3.893.399 GB - US $ 89,55

Alguma idéia?

    

Answer 1

O mais provável é que você tenha o S3 Versioning ativado. Isso significa que objetos antigos, quando sobrescritos com uma versão mais recente, não são excluídos, mas ficam ocultos em um histórico. Para verificar, vá para o Balde - > Propriedades - > Versão .

Vocêtambémpodeverasversõesantigasnonavegador,comonestacapturadetelaEutenhováriasversõesdoarquivo108c05...json:

Sevocêtiverocontroledeversãoativado,masnãoquiser,suspendaocontroledeversão,masestejacientedequeelenãoexcluiráasversõesantigas,vocêteráque:

• useAWS-CLIealgunsscripts(iniciecomawss3apilist-object-versions)
• configurePolíticadeciclodevidadointervaloparaexpirarasversõesantigas.IssoéfeitoatravésdeS3->balde->Gestão->Ciclodevida->Adicionearegradociclodevidae,emseguida,natelaExpiração,preenchaestesdetalhes:

Espero que ajude:)

    

Answer 2

O armazenamento de acesso pouco frequente tem uma carga mínima de 30 dias por item

1. Vá para o link e obtenha a listagem de arquivos de um dos seus blocos.
2. Observe que cada arquivo no intervalo tem uma classe de armazenamento. A escolha da classe de armazenamento está sob seu controle e afeta os custos.

Standard é o mais caro, por isso algumas pessoas usam infrequent access , que tem uma taxa mensal mais baixa (~ 50% de desconto) por GB armazenada de acordo com a tabela de preços. MAS, Infreqüente também tem uma taxa de recuperação de US $ 0,01 / GB, portanto, economiza apenas o custo total dos arquivos armazenados pelo menos um mês e é recuperado menos de uma vez por mês. Além disso, pode haver uma política de ciclo de vida no seu intervalo que altere a classe de armazenamento dos arquivos ao longo do tempo, o que pode afetar quando o período mínimo de armazenamento de 30 dias entrar em ação.

Na cópia fina, infrequent access tem uma carga mínima de 30 dias para cada item armazenado.

Fonte: link

Primeira nota de rodapé, marcada †

† S3 Standard-Infrequent Access and S3 One Zone-Infrequent Access storage have a minimum billable object size of 128KB. Smaller objects may be stored but will be charged for 128KB of storage. S3 Standard-Infrequent Access and S3 One Zone-Infrequent Access Storage are charged for a minimum storage duration of 30 days. Objects that are deleted, overwritten, or transitioned to a different storage class before 30 days will incur the normal usage charge plus a pro-rated request charge for the remainder of the 30 day minimum. Objects stored 30 days or longer will not incur a 30-day minimum request charge

O que é caro no Amazon S3 e no Google Cloud Storage também são as tarifas de rede se os dados forem enviados para a Internet pública em vez de serem mantidos na nuvem da empresa. A taxa de rede para recuperação uma vez pode facilmente exceder a taxa de armazenamento por 3-4 meses. $ 0,09 / GB (outubro de 2018) para o AWS S3 , $0.12/GB para o Google Cloud Storage , nível de uso mais baixo.

A Digital Ocean tem uma camada de armazenamento compatível com S3 chamada "Spaces" que pode valer a pena conferir. Alguns bugs foram reportados, e podem ser limitados em alguns aspectos, mas o preço geral parece interessante e pode ser "bom o suficiente" para alguns usos.