Espaço de maneira eficiente para armazenar muitos arquivos grandes e semelhantes

Question

Eu tenho muitos arquivos ~ 1 GB (arquivos de despejo de banco de dados, tirados em intervalos regulares). Agora eu estou apenas armazenando todos eles em um diretório, cada arquivo gzipped. Estamos ficando sem espaço em disco e queremos continuar armazenando os antigos. Ignorando a solução óbvia de jogar dinheiro no problema para comprar mais discos, existe alguma maneira de armazená-los de uma maneira eficiente no espaço?

Cada arquivo é um arquivo de despejo de banco de dados, tirado a cada meia hora e, portanto, deve haver um monte de conteúdo duplicado. Existe algum programa / processo que facilitará isso? Eu não quero tentar um novo sistema de arquivos. Eu estou brincando com git & git-repack, mas que usa muita memória. Existe algo um pouco mais simples?

    

Answer 1

Seguindo em frente, você pode fazer backups incrementais de seu banco de dados, mas eles demoram mais para serem restaurados, e é muito mais complexo fazer uma restauração pontual se você precisar auditar.

Como você diz que é capaz de aproveitar a cada 30 minutos agora, você pode usar um incremental & Cheio a cada 30 minutos, e mantenha apenas 6 ou 24 horas, e os incrementos para o longo prazo. (Como em teoria, se você precisar de velocidade de recuperação, provavelmente será um cenário de recuperação de desastre, como você desejará o mais recente).

Se você tiver dúvidas sobre backups incrementais ou outras estratégias de backup, tente a troca de pilha de banco de dados .

    

Answer 2

Além de backups incrementais, você também pode mover backups mais antigos para armazenamento de arquivamento próximo à linha. Isso pode incluir uma combinação de fita, disco rígido externo, mídia ótica (com advertências), etc.

Minha experiência é que ter acesso conveniente a backups de trabalho é bom o suficiente. Se você precisar de acesso mais rápido aos backups, poderá comprar mais hardware ou automatizar algumas das etapas de recuperação para acelerar as coisas.

    

Answer 3

Você pode considerar o armazenamento de arquivos de desduplicação, pois seus dados devem ter muitas informações duplicadas. No entanto, se você for com uma solução de hardware de um fornecedor proeminente, isso custará muito mais do que apenas o custo de discos adicionais. A boa notícia é que existem várias iniciativas de código aberto e uma delas é Opendedup . Há mais alguns, mas eu não tenho informações sobre eles à mão.

Outra alternativa seria usar software / serviço de backup que já usa algum tipo de desduplicação. Atualmente, estamos usando uma solução baseada no software Asigra e estamos fazendo backup de imagens inteiras de máquinas virtuais VMware diariamente e alcançamos uma redução de dados de 1:10 com 30 dias de retenção diária.