O Amazon Glacier é adequado para arquivar conteúdo de mídia digital? [fechadas]

1

Histórico: Uma equipe de produção de conteúdo filma e grava conteúdo em formatos de mídia digital. Estes podem ser uma mistura de metragens brutos, vídeos convertidos e imagens.

Estes conteúdos são armazenados em uma pasta compartilhada (Linux Samba) É um armazenamento de 21 TB que é quase totalmente utilizado. Eu preferiria que essa equipe de conteúdo reorganizasse e limpasse os dados. Negligenciando a necessidade de disciplina, me pedem para simplesmente arquivar. Faz sentido - à medida que os anos se acumulam, o espaço em disco será reduzido, não importa o quanto de disciplina seja mantida.

Nós realizamos o arquivamento usando unidades de fita sob a liderança mais antiga. Novas lideranças descontinuaram esse processo. Eles recomendaram o arquivamento de conteúdo antigo no Amazon Glacier.

Agora, o tamanho do conteúdo pode ser de cerca de 2 TB como um arquivo. Pode haver necessidade de retirar um conteúdo antigo. Quão frequente? - Que não sabemos a partir de agora.

Não importa quanta largura de banda a Amazon possa oferecer, o fio que eu tenho pode fazer um máximo de 40 mbit / s. Além disso, me pedem para limitar a velocidade de alguma forma, para que outros na mesma conexão com a Internet não sejam afetados pela transferência.

Quais são as considerações que eu devo levar em conta para chegar a um entendimento sobre se a Glacier se encaixa na conta para tal tarefa.

Além disso, existe qualquer ferramenta de linha de comando BASH que possa enviar arquivos 2 Tb + para o Glacier Vault?

    
por Anup Nair 03.11.2015 / 14:48

2 respostas

5

O Glacier foi projetado e tem um preço para os dados que você não espera que você possa precisar.

Glacier is designed with the expectation that retrievals are infrequent and unusual, and data will be stored for extended periods of time.

https://aws.amazon.com/glacier/pricing/

Eu tenho várias dúzias de terabytes armazenados lá no momento, e eu o recomendo - quando apropriado - então minhas observações não devem ser consideradas negativas, apenas enfatizando o ponto em que você precisa ter certeza de que entende o produto. e sua aplicação pretendida.

A interface nativa do Glacier é de nível muito baixo. Ele se comporta um pouco como uma fita de backup ou um grande tarball. Você coloca um "arquivo" em um "cofre" e é uma espécie de caixa preta. Você tem que manter registros do que você colocou em cada arquivo, porque o Glacier não pode lhe dizer, mais do que fisicamente olhando para uma fita de backup pode dizer-lhe.

A alternativa - e eu afirmaria - melhor maneira de usar o Glacier é através do S3. Carregue seus arquivos em um bucket do S3 e defina a política do ciclo de vida do bucket para arquivar os arquivos no Glacier depois de alguns dias. Com esse modelo, o S3 oculta a complexidade da API Glacier bruta, e os arquivos individuais e seus metadados permanecem visíveis por meio do console e da API do S3. O custo é o mesmo.

Entenda, porém, que com o Glacier (seja pelo S3 ou não), você paga uma taxa pela recuperação de mais de uma pequena quantidade de dados por vez.

Crunch os números e você verá que o subsídio gratuito para restaurações é potencialmente caro até que você tenha um lote de dados armazenados.

Digamos que eu tenha 180 TB / 180000 GB armazenados. Só posso restaurar 50 GB em qualquer janela de 4 horas se não quiser pagar cobranças adicionais pela recuperação de dados.

180000 × 0.05 ÷ 30 ÷ 6 = 50

180000 GB, subsídio mensal de 5%, 30 dias / não, 6 períodos de 4 horas em cada dia. Isso funciona muito bem para mim, pois meus arquivos são normalmente < 20 GB e é muito raro que eu precise deles. Quando faço isso, geralmente é para pesquisa que não está pressionando para que eu possa espalhar a recuperação. Com um armazenamento total menor, digamos, 18 TB, meu subsídio de restauração sem cobrança seria de 5 GB a cada 4 horas. Então, como eu digo, considere cuidadosamente o modelo de precificação de restauração.

Possivelmente, um ajuste melhor é a relativamente nova classe de armazenamento "Acesso Infreqüente" oferecida pelo S3. $ 0.0125 / GB / mo ainda é bastante razoável e, embora exista uma taxa de US $ 0,01 / GB para downloads, não há aumento acentuado no custo se você precisar restaurar muitos dados, e não há tempo de espera de 4 horas, como há para Glacier restaura.

link

    
por 04.11.2015 / 03:18
0

Eu começaria com este primeiro, para obter uma estimativa de qual será seu preço. A taxa básica é de 0,007 dólares / gb / mês, não incluindo as taxas de transferência.

Depois, veja como você recupera seus dados do Glacier. As solicitações de trabalho podem levar várias horas e, em seguida, os dados só estão disponíveis por um determinado período.

Perguntas frequentes sobre o AWS Glacier

Aqui está algo que encontrei enquanto procurava "glacier data bash".

Exemplo de script para upload para o Glacier / S3

Eu uso o S3 para o backup externo de meu cliente (mais de 100). Eu tinha olhado na geleira como era mais barato, mas o tempo para recuperação de dados eu não pude lidar com isto. Se um dos meus sites tem um problema, e eu preciso pegar um arquivo do S3 eu preciso agora, não em 4 horas.

    
por 03.11.2015 / 15:39