Eu faço backup de vários discos virtuais (total = cerca de 4 Tb), com várias semanas de tempo de retenção.
Eu uso discos 4 x 4 Tb no computador dedicado ao backup primário. O sistema de arquivos é o ZFS RAIDZ2, portanto, 8 Tb utilizável.
Um backup secundário de 4 x 2 Tb (4 Tb utilizável) está em um prédio separado, armazenando o backup do último domingo.
Eu gerencio a retenção fazendo instantâneos: depois de cada backup, um instantâneo é criado no sistema de arquivos principal de backup. E os instantâneos com mais de 90 dias são excluídos. O valor dos dados modificados é inferior a 4 Tb por 90 dias, então está tudo bem (na verdade eu tenho 30 últimos dias + 9 semanas anteriores + 10 meses anteriores, mas esse não é o ponto).
No backup secundário, tenho apenas um backup. Eu pretendo implementar a retenção também.
Primeiro pensei em atualizar para 4 x 4 Tb discos (por causa da falta de espaço, não posso atualizar para 6 x 2 Tb) e fazer instantâneos como no backup principal.
Em vez de atualizar o hardware, e se eu usar a compactação do ZFS + instantâneos no backup secundário? A compactação levará, digamos, a 600 Gb gratuitamente. Então os instantâneos darão a retenção de vários dias.
Os discos virtuais salvos são atualizados com o rsync, portanto somente pequenas partes são modificadas. Então eu acho que apenas pequenas partes são "transmitidas" para instantâneos. Mas eu não encontro nenhuma fonte confirmando que isso funcionará como eu penso.
Pergunta: usando o ZFS no Linux com compactação, arquivos muito grandes com modificações dispersas serão capturados com eficiência?
Você deve usar a compactação ZFS (com compression=lz4 ) por padrão nos dias de hoje. Não há uma boa razão para não usá-lo, exceto se você souber que seus dados não são compactáveis.
Os instantâneos em sistemas de arquivos compactados do ZFS ainda são eficientes e funcionam com replicação e / ou rsync.
Também usamos o ZFS com compactação e snapshots para backup de arquivos grandes, desde vários anos.
O tamanho dos instantâneos é consistente com os dados atualizados pelo rsync. Portanto, não sei como a compactação funciona no ZFS, mas isso não diminui significativamente a eficiência dos instantâneos.