Usando o rdiff-backup para backups incrementais de arquivos compactados compactados grandes?

Question

Estou pesquisando uma estratégia remota de backup fora do site. A principal limitação é que o canal upstream é de apenas ~ 50 kb / s, portanto, com isso em mente, os recursos de backup incremental usando diferenciais de arquivo do rdiff-backup pareciam a ferramenta adequada.

Em um caso de teste:

1. O primeiro rdiffbackup foi executado em um diretório local para um diretório local diferente. No diretório, havia um arquivo pax de 10 GB de um diretório do Maildir.

2. O arquivo pax de 10 GB foi substituído por um arquivo pax de 12 GB no diretório de origem (representando um mês de emails adicionais). O rdiff-backup foi executado novamente. Eu esperava que o rdiff-backup fosse mais rápido desta vez porque havia apenas uma diferença de 2GB no tamanho do arquivo, no entanto, não apenas o tempo de execução era maior, mas no diretório de destino havia 2 arquivos, o arquivo original de 10GB e um arquivo temporário de 12GB.

O rdiff-backup pode fazer backup incremental de arquivos compactados? Não parece ser capaz de.

Atualmente, o servidor de e-mail grava backups do pax Maildir em uma unidade externa. Mas, em vez de usá-los como a fonte rdiff-backup, seria melhor deixar o rdiff-backup apenas backup / home /% user% / Maildir (muitos, muitos arquivos pequenos)?

Suponho que, se a unidade externa falhar, seria melhor não enfraquecer o segundo sistema de backup também!

aplausos

kilolima

edit: não foi possível adicionar uma tag para 'pax'?!

    

Answer 1

É melhor não compactar os dados.

O rdiff-backup analisa os arquivos em busca de diferenças, mas se forem arquivos compactados, talvez não encontre diferenças e seja forçado a armazenar todo o novo arquivo novamente.

Além disso, você pode usar ssh -C para compactar a conexão ssh e economizar alguma largura de banda.

Finalmente, se possível, você deve ter mais largura de banda; isso é melhor que dial-up (ou talvez seja é discada?). O backup de 12 GB de dados levaria semanas por discagem, e até mesmo a diferença de 2 GB poderia levar dias .