Como posso detectar (e corrigir) a corrupção silenciosa de dados?

Question

A minha pergunta é, como posso detectar a corrupção de dados silenciosa no meu PC em casa (Windows + Linux). Eu faço rsync como backups automáticos (com histórico de versões). Mas como eu sei em alguns meses / anos que um arquivo não utilizado há muito tempo (como uma tese ou meu histórico bancário) ainda está intacto? Talvez eu esteja apenas fazendo o backup de um arquivo corrompido.

Se fosse apenas um arquivo, eu poderia verificar a cada poucas semanas se ele ainda funciona (hash ou apenas abri-lo), mas fazê-lo em centenas de arquivos é banal. E até eu descubro que um arquivo está corrompido, como eu sei, quando ele foi corrompido?

Neste ponto, preciso encontrar a data no meu backup em que o arquivo ainda estava OK. Se houver uma cópia de trabalho! e não foi corrompido também.

Estudo da Cern sobre integridade de dados

    

Answer 1

Se você quiser corrigir esses dados perdidos, terá que usar algum tipo de duplicação de dados. RAID, seja backups.
Os backups são preferidos porque protegem você contra arquivos apagados, falhas no sistema de arquivos, etc. Um RAID só protege contra falhas parciais e completas do disco. Você precisa examinar o log do sistema para ver qualquer falha. Com o Linux, você pode usar o ZFS. Cada grupo de dados tem sua própria soma de verificação e o driver do sistema de arquivos cuida disso, com correção ao vivo. Acho que este é atualmente o melhor método.

Como detectá-los?
Bem, com o Linux é muito simples: apartart do ZFS, basta usar o software RAID e a configuração padrão faz um scrubing de dados a cada mês (Debian e Ubuntu, provavelmente a mesma coisa para os outros). Com o Windows ... você tem que usar alguns truques. Por exemplo, ler cada arquivo uma vez por mês (com um script) e examinar o log do sistema se algo for relatado. Se você tem um harderwre RAID controler (não é um RAID faike, uma placa RAID real), a maioria deles inclui o software para fazer o scrubing automático.

Outro método é armazenar a soma de verificação dos arquivos e verificar regularmente os arquivos novamente nas somas de verificação. O Tripwire faz isso para o Unix. Você tem que suportar o fato de que um arquivo modificado tem uma soma de verificação diferente. Eu não conheço nenhum software para Windows, mas outras pessoas poderiam.