Backup do AWS EFS para o S3

Question

Estou desesperadamente tentando encontrar uma maneira de fazer backup do meu sistema de arquivos do AWS EFS para o S3, mas não consigo encontrar um.

Existem várias instâncias do EC2 executando todas tendo acesso ao EFS mencionado. A fim de reduzir o tráfego, eu já tentei iniciar uma função do Lambda, que SSHs para as instâncias do EFS e executa "aws s3 sync ...". Infelizmente, o SSHing dos serviços do Lambda não parece ser uma boa solução pronta para produção.

O que eu também tentei foi adaptar o DataPipeline, mas lançar instâncias adicionais apenas para backups também parece um problema.

Não há alguma maneira fácil de fazer backup do EFS para o S3?
Qualquer sugestão apreciada.

    

Answer 1

Na verdade, acho que o S3 Sync é o que você quer. Talvez configurar o Cron nas instâncias do EC2 e invocar o S3 Sync dessa maneira? Você está usando o ECS também? Eu tenho um contêiner Cron que faz o trabalho muito bem. Para aqueles que não estão familiarizados com o AWS CLI ( link ), a sintaxe do S3 Sync é como:

aws s3 sync /path/to/source/ s3://bucket/destination/

    

Answer 2

1. Faça o backup do EFS usando uma ferramenta como Attic para criar um arquivo compactado, backup incremental e duplicado em uma instância do EC2.
2. Use S3FS ou a API do S3 para fazer o upload desses arquivos para o S3. Pessoalmente eu uso um script de upload de dropbox, que funciona bem também.

Observe que o Attic é executado em qualquer intervalo especificado, mas mantém apenas os pontos de verificação especificados. Por exemplo, você pode ter backups diários, mas somente mensalmente após o primeiro mês e anualmente após o primeiro ano. Por causa disso, exclui arquivos do armazenamento. Se você não excluir os arquivos do seu repositório, isso não vai doer, mas você usará mais armazenamento do que o necessário. É por isso que uma sincronização dos arquivos de backup do Attic pode ser melhor que uma cópia.