Excluindo um bucket do Amazon AWS S3 com muitos milhares de arquivos / chaves

Question

Existe uma maneira fácil de excluir um bucket do Amazon S3 com muitas dezenas de milhares de objetos? Eu tentei o s3cmd com --recursive e --force, mas ele está cheio de memória e tem funcionado por dias com pouco efeito.

    

Answer 1

A nova resposta para excluir um bucket do Amazon S3 com muitos milhares ou milhões de itens é usar as novas regras de expiração de objetos .

Você pode até fazer isso no AWS Console. Basta acessar as propriedades do bucket que você deseja excluir, abrir a guia LifeCycle e configurar uma nova regra de expiração sem prefixo e um dia para expirar. Espere um dia e os objetos serão removidos. Se você tem milhões (como eu tenho no meu caso) você poderia levar alguns dias antes que os objetos realmente desapareçam, no entanto, você ficará feliz em notar que você não paga mais por esses itens armazenados após o período de validade de 24 horas.

Nota: A única limitação nesta abordagem é que você não pode definir as regras do ciclo de vida se você tiver o controle de versão ativado.

    

Answer 2

A Amazon adicionou recentemente um novo recurso, "Multi-Object Delete", que permite que até 1.000 objetos sejam excluídos por vez com uma única solicitação de API. Isso deve permitir a simplificação do processo de exclusão de um grande número de arquivos de um intervalo.

A documentação do novo recurso está disponível aqui: link

Por enquanto, você teria que usar manualmente a API para a solicitação, mas eu esperaria que ferramentas como s3cmd fossem eventualmente atualizadas para suportar diretamente o recurso.

    

Answer 3

sincronize um diretório vazio com o marcador --delete .

mkdir tmp-empty-dir
aws s3 sync --delete tmp-empty-dir/ s3://my-bucket

o bloco ficará vazio e poderá ser excluído.

    

Answer 4

Eu uso este Java Applet para fazer isso. Você pode facilmente selecionar todos os seus arquivos e excluí-los.