Como fazer backup de despejos de banco de dados que apenas pequenas alterações entre os backups?

Question

Eu tenho um dumpfile posgresql toda noite e gosto de manter cada um deles. Cada um tem 14 GB de tamanho, então meu backup estará cheio em breve.

A diferença de um dia para o outro é de apenas 100MB. Como faço os backups diários sem perder muito espaço?

PS: eu usei tar para compactar 1 arquivo e o tamanho caiu para 5GB. Eu esperava que quando eu comprimir dois arquivos a relação seria melhor, mas não. 2 lixões comprimidos são 10Gb

    

Answer 1

Eu gostaria de continuar com a menção do rdiff pelo Tometzyk e sugerir o rdiff-backup . Ele mantém uma cópia espelhada do backup mais recente e salva o histórico como diffs reversos compactados. Aquelas vezes eu usei isso em despejos de banco de dados que eu lembro de ter escapado com um delta bastante bom (pequeno). Isto é, você tem seu mysqldump criando um novo arquivo com o mesmo nome de arquivo em cada dump, e então você executa o rdiff-backup naquele dump.

O

rdiff-backup pode ser executado localmente (incluindo para uma montagem de rede), bem como em ssh. Sinta-se à vontade para consultar a página de exemplo do rdiff-backup para alguns cenários comuns de uso.

    

Answer 2

Aqui está uma abordagem alternativa; como o tamanho do backup incremental é pequeno, é provável que apenas algumas tabelas do MySQL estejam mudando regularmente, e você provavelmente está fazendo o backup de várias tabelas grandes que não mudam de um dia para o outro. Se você puder descobrir se esse é o caso, poderá fazer o backup de todo o banco de dados com um cronograma reduzido - talvez uma vez por semana - e fazer backups mais frequentes das tabelas mais voláteis, usando:

mysqldump [database name] [table1 table2 ....]

Aqui está um link para a documentação do mysqldump .

    

Answer 3

O

rdiff do librsync é um programa de código aberto que computará a diferença (chamados de deltas) entre qualquer arquivo (binário ou texto). / p>

Há também um sistema de backup - duplicidade - que usa o librsync para armazenamento eficiente de backups.

    

Answer 4

Existem programas de binário diferencial. Tometzky mencionou riff. Eu usei o bsdiff antes, mas ele não funciona em arquivos grandes.

Considere executar algo como o LZMA para compactar o arquivo dump / diff depois de extraí-lo. De minha experiência mais média 3: 1 compressão (embora imagens e vídeo fazem pior, texto muito melhor, coisas normais). O LZMA é consideravelmente melhor que o GZIP e o BZIP encontrados no Tar.

    

Answer 5

Você pode arquivar seus arquivos com o utilitário 7zip e empacotá-lo como um arquivo sólido