Backup automatizado do S3 para outra nuvem

Question

Existe algum serviço lá fora para fazer o backup automático da nossa conta S3 para uma nuvem externa?

    

Answer 1

Você pode querer olhar para o Google Cloud Platform Cloud Storage. Inclui um Serviço de Transferência que pode efetuar transferências diárias e / ou únicas de um depósito S3 para um Balde do Google Cloud Storage.

O Google Cloud Storage também tem um recurso de versão, mas está desativado por padrão. Pelo que posso dizer, você precisa ativar a versão em via linha de comando ou API (não há uma interface do usuário para controlar o controle de versão). Além disso, não é possível visualizar ou baixar versões diferentes de um arquivo por meio de uma interface de usuário da Web.

Alguns negativos: (1) Isso não é muito "BACKUP" como replicação versionada. (2) A interface do usuário da web não parece expor toda a funcionalidade necessária. (3) O que acontece se o Serviço de Transferência encontrar um problema? Para os meus propósitos, eu estava esperando para configurar isso e ignorá-lo a menos que houvesse exceções. Não parece que um alerta de e-mail esteja embutido, então alguém precisa periodicamente visitar a página de status ou fazer uso da API de alguma forma.

    

Answer 2

Eu não consigo pensar em nada do topo da minha cabeça, mas é muito trivialmente simples de fazer com a API do S3 e com a API de outra nuvem. Você provavelmente precisaria de um servidor intermediário, a menos que o terceiro tenha um método HTTP Pull.

Eu provavelmente configuraria uma micro instância do EC2 executando o Ubuntu, ou algo assim, e criaria um script de um cronjob que copia novos arquivos para a outra nuvem. Você pode usar find para encontrar arquivos que foram modificados / criados desde a última execução do cronjob.

Eu provavelmente faria isso em python com python-boto. Parece funcionar muito bem para esse tipo de manipulação S3.

Se o seu provedor de nuvem tiver um método HTTP Pull, você poderá definir a ACL nos objetos do S3 para permitir o acesso HTTP autenticado e copiá-los dessa maneira.