Estratégia de backup compatível com largura de banda usando tar?

Question

Usamos tar para fazer backup e comprimir (gzip) diretórios selecionados em nosso servidor de arquivos, com resultados muito bons até recentemente.
Todos e cada um de nossos backups são armazenados em discos rígidos espelhados (RAID) e carregados simultaneamente em um bucket do Amazon S3 para armazenamento fora do local.

Como nossos dados cresceram rapidamente em tamanho recentemente, também tem nossos backups. Nesta semana, os nossos uploads de backup foram feitos 24 horas por dia, sete dias por semana, apenas para sincronizar os backups recentes dos últimos sete dias e ainda não foram concluídos. Obter uma conexão melhor resolveria alguns desses problemas (que não podemos fazer no momento), mas acho que seria melhor criar uma solução real em vez de tentar solucionar o problema.

Qual estratégia alternativa, que nos mantém longe de gigabytes de vários dígitos e ainda nos permite usar tar , poderíamos usar para fazer backup de nossos diretórios, o que reduziria a quantidade de largura de banda necessária para sincronizar os arquivos?

    

Answer 1

Muitas variáveis desconhecidas aqui. Qual é o tamanho dos seus backups, quais são os limites de largura de banda, se você deseja backups incrementais ou completos, etc.

Algumas sugestões, independentemente:

1. Use o rsync sobre o ssh ao usar a compactação (opção -C). Rsync reduziria bastante a quantidade de dados necessários para a transferência em cada cópia de segurança. A compactação também reduziria a quantidade de largura de banda necessário.

2. Se a largura de banda for limitada, considere o backup de discos locais. Se vocês Se você quiser fazer backups off-site, sempre é possível enviá-los para fora do site. Como armazenamento espaço explode, você realmente não deve eliminar isso como um válido opção desde que a largura de banda não aumentou para corresponder.

[edit] Notei você a tag incremental. O bucket do Amazon S3 fornece suporte para instantâneos? Isso cuidaria do aspecto incremental.

    

Answer 2

Aqui está uma recomendação comercial. O Cactus Lone-Tar é uma suíte de backup completo que gera arquivos compactados que podem ser extraídos e podem ser listados usando tar , mesmo quando gravados em fita. Isso é útil porque você não precisa do software para restaurar um arquivo. É a minha solução go-to para backup de servidor Linux autônomo.

O Lone-Tar agora tem um componente on-line que pode ser integrado a um pacote de armazenamento externo incluído ou a um servidor Linux remoto. Como esse é um conjunto de software de backup, ele mantém um catálogo adequado e pode acomodar backups COMPLETOS, INCREMENTAIS e SELETIVOS.

    

Answer 3

Use o rsync sobre o ssh. Se você quiser manter versões históricas, você pode definir as opções -b e relacionadas. Se você é casado com o tar você pode usar o sinalizador -z se você ainda não comprimir. Você pode ir mais longe aproveitando o bit 'archive' no seu sistema de arquivos usando o comando dump para que , como no uso típico do rsync, somente os arquivos que foram alterados desde o último despejo ou sincronização serão copiados.