Melhor maneira de acessar arquivos no bucket do S3 da instância do EC2

Question

Eu tentei vários pacotes (goofys, s3fs, fusível) e não consegui encontrar uma solução para o meu problema.

Eu tenho um S3 Bucket com vários milhares de arquivos atualmente nele e continuarei a crescer. A maioria dos aplicativos para mapear o S3 para o EC2 trabalha com impressões menores do que com as quais estou lidando. A entrega dos arquivos não é da minha escolha.

Todos os arquivos têm menos de 100 KB. O maior problema que encontrei até agora é o grande número de arquivos. Eu preciso de um meio para um script PHP para pesquisar a lista de arquivos que procuram padrões comuns que são conhecidos para construir uma lista armazenada para referência futura. ou seja, IMG-20160704_01.png Neste caso, estou procurando todos os arquivos que contêm 20160704 .

Alguém com solução (ões) de trabalho atual para isso?

EC2 é Centos 6.5

Obrigado.

    

Answer 1

Ele pode ser feito facilmente por meio de qualquer SDK da AWS. Você precisa fazer o seguinte:

1. Recupere uma lista de todos os objetos localizados no bucket S3.
2. Filtre a lista de acordo com seus critérios usando expressões regulares.
3. Fazer download de arquivos usando a lista de objetos do arquivo

Se você estiver usando PHP, os seguintes documentos podem ser úteis para você: link

Nota: eu posso fazer isso em python para você. Envie-me uma nota se você estiver interessado (meu e-mail de contato está na descrição do perfil)