AWS S3 Opções de sincronização duplicadas / comportamento estranho

Question

Estou tentando sincronizar uma pasta com 2M + arquivos para o S3, tudo correu bem, mas depois 40.000 arquivos não foram carregados (o servidor travou aleatoriamente), quando tentei fazer um comando de sincronização novamente, ele começou de 0, mesmo se ter imagens 2M-40K no S3, ele reenvia as imagens 2M, tendo "duplicatas".

Por que eu digo "duplicatas"? Porque quando eu fiz uma lista antes da re-sync no S3, ele disse que eu tinha uma diferença de arquivos de -40K, quando eu fiz depois de alguns minutos a re-sync disse que tem + 80K de diferença, como é possível que ela tenha + 80K arquivos de origem? duplicados / controle de versão / histórico

Por isso, estou tentando carregar somente os arquivos 40k ausentes, porque os arquivos estão no final da pasta, por isso, se começar de novo, ele deve esperar outro dia para carregar o mesmo 2M arquivos ...

Espero ter explicado corretamente.

TL; DR: Um comando quebrado sync para arquivos 2M contra o S3 não enviou arquivos 40K, como posso carregar somente esses arquivos 40k e não o 2M?

    

Answer 1

Seu cenário parece exatamente com o que a ferramenta s3 sync deve ser usada. Eu acho que "aws s3 sync local_directory s3: // your_bucket_location" deve funcionar exatamente como você está perguntando.

Você está usando as ferramentas da AWS CLI? Em caso afirmativo, você pode tentar com --dry-run e nos informar se ele acha que a diferença é ~ 40k ou na verdade são todos os arquivos de 2M +?

EDIT: s3 docs de sincronização, apenas no caso. link

    

Answer 2

Você pode usar o cliente Minio aka mc , é de código aberto e compatível com o AWS S3.

Você pode usar o comando minio client '' mirror command to do the upload. Minio client also has resume session 'que fará o upload do objeto onde foi deixado na última desconexão.

Exemplo:

$ mc cp  myminio92/atul/yEd-3.15.0.2_with-JRE8.dmg play/kline
....0.2_with-JRE8.dmg: 7.13 MB / 96.19 MB ┃▓▓▓▓█░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░░┃   7.42 % 3.00 MB29s mc:  Session safely terminated. To resume session ‘mc session resume KBIJTOtQ’
minio@minio2:~/atul$ mc session resume KBIJTOtQ
....0.2_with-JRE8.dmg: 96.19 MB / 96.19 MB ┃▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓┃ 100.00 % 2.75 MB34s

Espero que ajude. Isenção de responsabilidade: Eu trabalho para Minio