Fazendo upload de 200 GB de arquivos para o S3

Question

Qual é a melhor maneira de fazer upload de arquivos tar.gz de 200 GB para o S3 no Linux? Ao pesquisar, descobri que o limite de S3 para objetos foi aumentado para 5 TB e descobri o mecanismo de upload de várias partes para acelerar os uploads. Eu encontrei um script de python boto que pode ajudar nisso. Alguém poderia lançar mais luz sobre esse assunto?

    

Answer 1

Obrigado pela sua resposta e opções tom.I got conseguiu um upload de 20gb para s3 usando upload mulipart.Eu precisava de python 2.5 > + boto library + s3_mulitpart script python para fazer o upload. Minhas referências onde

1. link - boto (usado 2.1.1)
2. link : upload de mulipart usando o boto.
3. link : paralelo upload para o script do Amazon S3

Espero que sejam úteis.

Prem

    

Answer 2

Não faça o upload. Publique. link

A Amazon oferece um serviço para o envio de mídia portátil, e eles enviam os dados para você, a partir de seu backbone rápido.

Se você realmente quiser fazer isso, pegue uma cópia do S3cmd e faça s3cmd sync .

"Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway." - Andrew S Tanenbaum

Editar: Se você realmente quer ser capaz de fazer o upload do arquivo, sugiro que faça o seguinte.

1. Obtenha uma instância do AWS EC2 com armazenamento efêmero suficiente para armazenar os arquivos que você deseja enviar.
2. Use o GNU Split para dividir os arquivos em partes menores.
3. Envie os fragmentos para sua instância temporária do EC2.
4. Remonte os blocos com a opção de divisão para reagrupar.
5. Carregue os fragmentos para o S3 do EC2 (incrivelmente rápido!)
6. Desligue a instância do EC2, mas mantenha-a à mão.

Answer 3

Divida seus arquivos tar.gz em partes menores e monitore suas somas MD5 locais e remotas. Então você pode apenas reenviar uma porção menor se algo der errado.