Como posso mover objetos s3 5gb de um balde para outro?

Question

Objetos com mais de 5 GB são suportados com o upload de várias partes. Temos 5gb + arquivos em um bloco que eu gostaria de migrar para outro, na mesma conta da AWS. Quando eu emito o comando usando s3cmd:

s3cmd mv s3://BUCKET1/OBJECT1 s3://BUCKET2[/OBJECT2]

Eu volto com o erro:

ERROR: S3 error: 400 (InvalidRequest): The specified copy source is larger than the maximum allowable size for a copy source: 5368709120

Se for possível, presumo que não será possível passar sem largura de banda / custo extra. Mesmo assim, estou tentando descobrir se você pode mover arquivos grandes em algum tipo de método de várias partes.

    

Answer 1

Atualmente, o que você está tentando fazer não pode ser feito em uma única operação. Mover no S3cmd para a API é essencialmente uma cópia e excluir tudo em um e é uma restrição da operação de cópia.

link

You can store individual objects of up to 5 TB in Amazon S3. You create a copy of your object up to 5 GB in size in a single atomic operation using this API. However, for copying an object greater than 5 GB, you must use the multipart upload Upload Part - Copy API

link

The examples in this section show you how to copy objects greater than 5 GB using the multipart upload API. You can copy objects less than 5 GB in a single operation.