Estratégia para fazer backup de um site muito grande (~ 40GB)

Question

Eu tenho um site que funciona com muitos arquivos de texto - agora eles ocupam cerca de 40 GB de dados e aumentam com o tempo. Eu preciso fazer um backup diário completo. Minha estratégia atual é criar um arquivo protegido por senha e armazená-lo na caixa de depósito com este comando:

tar cfz - /var/www/mysite | openssl enc -aes-256-cbc -e -k "b@ckupPassword" > /home/user/Dropbox/server_backups/sources/2013_01_04_0500_mysite_source_encrypted.tgz

Funciona, mas fazer um arquivo demora cerca de 14 horas e consome muito IO - e será pior à medida que a quantidade de dados aumentar.

Qual é a estratégia adequada para fazer o backup de uma quantidade tão grande de arquivos?

    

Answer 1

Eu usaria rsync , desde que eu tenha espaço suficiente.

Este exemplo tem um backup completo e mantém uma semana de incrementos.

#!/bin/bash

DAY=$(date +%A)

if [ -e /bkp/incr/$DAY ] ; then
  rm -fr /bkp/incr/$DAY
fi

ionice -c 3 rsync -a --delete --inplace --backup --backup-dir=/bkp/incr/$DAY /var/www/mysite/ /bkp/full/ &> /dev/null

O script pode ser complicado de armazenar offsite, em pastas dropbox e assim por diante.

Se você realmente precisa usar tar , pode acompanhar os arquivos modificados

tar zcvf - --listed-incremental=/var/log/mysite.tarlog /var/www/mysite | openssl enc  ...

Se você quiser um backup completo, exclua /var/log/mysite.tarlog

    

Answer 2

Como sugerido acima, o rsync parece ser a melhor maneira de fazer backup de todo o site. Ainda assim, sugiro que você implemente algum tipo de sistema de arquivos replicado, algo como um volume GlusterFS simples com replicação.

A replicação não é um backup, mas pode ajudar você a reduzir o impacto de I / O dos backups e, eventualmente, fornecer uma base sólida para expandir seu website posteriormente em um cluster.

    

Answer 3

É melhor usar um mecanismo de backup incremental nesse caso.

Usando rsync , você pode fazer backup incremental.

Clique em me para mais detalhes sobre como usar o rsync

Clique em eu para ler mais sobre o backup incremental