Backup de ativos incrementais

3

Eu tenho um grande aplicativo com imagens enviadas por usuários. O armazenamento é aumentado em ~ 1gb todos os dias.

Eu preciso fazer backup de todas as imagens de alguma forma. Fazer o backup de todas as imagens todos os dias pode se tornar um grande problema (grande quantidade, tráfego de rede, etc.).

Quais são as melhores formas de fazer backup desse tipo de dados? Quais armazenamentos são preferidos (FTP, S3, servidor local, etc)? Quais estratégias de backup são melhores?

    
por developer 16.01.2010 / 12:13

2 respostas

1

ponteiros do casal:

Primeiro, instantâneos. Qualquer operação de backup (até mesmo um backup incremental, provavelmente) levará um tempo significativo para ser concluída. A menos que você possa bloquear sua loja enquanto o backup estiver ocorrendo, você provavelmente terá problemas com dados inconsistentes. Eu sugiro que você investigue suas possibilidades de sistema e fs para tirar fotos. Você bloqueia a loja, tira o instantâneo (que deve ser muito, muito rápido) e desbloqueia a loja. Seu instantâneo agora contém uma réplica consistente de sua loja, que pode ser feita em qualquer passo que você precisar. Procure por cópias de sombra de volume no Windows, em instantâneos LVM no Linux, etc.

Em segundo lugar, replicação. Mais uma vez, qualquer trabalho de backup provavelmente irá tirar uma boa quantidade de desempenho de I / O e CPU longe da loja. O desempenho do seu aplicativo principal será afetado ou o backup levará mais tempo para ser concluído. Se você puder manter seu sistema de armazenamento continuamente replicado para um segundo sistema, poderá fazer o backup sem se preocupar em afetar seu sistema de produção ao vivo. Essa réplica também pode ser útil para evitar o tempo de inatividade (se o armazenamento principal falhar, alterne para a réplica). Ao usar a replicação, você tira os instantâneos no sistema replicado, precisando apenas pausar a replicação enquanto o backup é realizado.

Em terceiro lugar, depois de ter replicação e instantâneos, você só precisa encontrar um método de backup que faça sentido. para largura de banda, armazenamento e suas necessidades. Primeiro de tudo, descubra o quanto você quer ir quando se recupera. Você só precisa de uma cópia do seu armazenamento como foi ontem? 8 horas atrás? Você precisa voltar e recuperar arquivos da semana passada? Mês passado? Ano passado?

Quanto tempo demora uma cópia completa do seu armazenamento? Quanto tempo demora uma cópia de um incremento diário? Isso limita com que frequência você pode fazer backups completos e incrementais. Se você não estiver excluindo dados de sua loja, uma réplica pode ser suficiente.

Por último, se você está movendo grandes volumes de dados, provavelmente está usando uma SAN. E tenha um contrato de serviço. Sua SAN provavelmente tem algo embutido para lidar com backups, ou pelo menos os caras que suportam isso devem dar a você idéias mais específicas ...

    
por 17.01.2010 / 14:57
0

Deseja remover programaticamente versões antigas dos recursos?

Nesse caso, você pode criar um mecanismo que arquive imagens antigas com base em parâmetros específicos. Esses arquivos possivelmente serão compactados em arquivos removidos de máquinas. Versões mais antigas podem ser marcadas como arquivadas com alguma referência a onde elas serão armazenadas remotamente / fisicamente no Disco / Fita etc para recuperação posterior.

    
por 16.01.2010 / 13:01

Tags