Sincronização do servidor Linux com um bucket do Amazon S3

Question

Estou procurando uma solução estável para substituir um backup de servidor clássico em outro servidor usando rsync . Eu tenho que sincronizar um sistema de arquivos inteiro (mais de 1Tb) para o Amazon S3.

Onde estou?

Solução 1: Eu mapeei o bucket S3 para um ponto de montagem no sistema usando s3fs . O sistema fica instável e o tráfego é muito lento. Isso não é uma solução.

Solução 2: Usando o comando s3cmd sync . Tudo vai bem em boas velocidades (pelo menos para menos de pastas de 2Gb). O problema surge quando tento sincronizar todo o sistema de arquivos no servidor (com algumas exclusões). O processo apenas trava.

Alguma dica?

    

Answer 1

Esta é uma maneira ruim de fazer backups. Você deve estar separando sua configuração do sistema operacional de seus dados valiosos. Nenhuma das suas permissões será transferida, o que no mundo Linux é uma necessidade se você estiver planejando restaurar backups (o que você deve fazer - backups sem restaurações verificadas são inúteis).

Primeiramente, você pode sincronizar seus valiosos dados de instância (por exemplo, /var/www ) para S3 usando s3cmd sync , conforme declarado.

Em segundo lugar, usando um utilitário de gerenciamento de configuração, como o Puppet ou o Chef, você pode criar uma nova instância do seu SO com o mínimo de esforço, garantindo um novo e confiável conjunto de configurações.

Não há detalhes de sua arquitetura subjacente em sua pergunta (EC2? VMware? KVM? Xen? hardware físico?), portanto não posso recomendar nenhuma ferramenta específica (por exemplo, snapshot de arquitetura específica). Se você estiver executando em uma plataforma virtual (por exemplo, EC2, VMware, KVM), deverá usar a arquitetura de instantâneos dessa plataforma.