Protegendo dados contra o bit rot

Question

Percebi que preciso proteger todas as minhas fotografias contra a podridão de bits (corrupção de arquivos ocorrendo aleatoriamente devido a erros nos discos rígidos ou na transferência de rede).

Recentemente descobri o par2, que parece ser um excelente programa para criar arquivos de redundância e para detectar e reparar corrupções de arquivos.

Não acredito que os sistemas de arquivos com registro no diário sejam a solução certa aqui, pois quero que a proteção acompanhe os arquivos no meu backup e ao migrar para novos laptops.

Então, o que eu acho que preciso é de um script que possa ser executado como um cronjob, talvez uma vez por hora. Examinaria todos os arquivos que precisam de proteção e atualizaria os arquivos de redundância se os arquivos forem adicionados ou alterados (o arquivo possui um registro de data e hora mais recente que a redundância arhive) e repararia arquivos se algum arquivo estiver corrompido (o arquivo foi alterado, mas foi editado) timestamp não foi atualizado).

Existe algum script ou programa que faria isso? Ou existem programas que resolvam o problema de outra maneira? Ou eu deveria apenas escrever um script desses (eu preferiria não, eu quero algo robusto e testado por muitos usuários)?

    

Answer 1

A solução canônica é usar um sistema de arquivos que suporta checksum e fazer backups regulares.

Além disso, você também pode usar um esquema de armazenamento redundante (RAID) - na camada do sistema de arquivos - para evitar restaurações demoradas do backup, se possível.

Exemplos de tais sistemas de arquivos são ZFS ou Btrfs .

O recurso de checksum de tais sistemas de arquivos é implementado usando uma função hash criptográfica. Assim, os erros de bit a jusante da pilha de armazenamento são detectados com uma probabilidade muito alta - por causa disso, sua capacidade de detectar corrupções está no mesmo nível ou acima de ferramentas como par2 .

Esses sistemas de arquivos também incluem recursos de armazenamento redundantes - semelhantes aos níveis de RAID. A diferença para uma abordagem de RAID de camadas clássica é que, no caso de uma corrupção detectada, o sistema de arquivos pode escolher a perna 'correta', ou seja, o lado do espelho RAID que retorna o bloco com a soma de verificação correta.