como a integridade de dados afeta os backups offline com o rsync?

0

Estou tentando entender as implicações do bitrot e da corrupção de dados em meus dados em discos.

Atualmente para fotos da minha família (JPEG e MOVs), além de armazená-las no meu computador principal, eu as tenho em uma unidade sata USB de 2 TB no meu roteador dd-wrt. Isso usa um sistema de arquivos Ext3. Eu também tenho um backup rsync noturno para outra unidade idêntica no roteador.

O rsync detectaria / reportaria / não copiaria nenhum dado corrompido no primeiro disco que foi corrompido por um setor defeituoso? Ou por um bit invertido ao ler os dados do disco e um setor defeituoso impediria a leitura do arquivo para rsync copiá-lo?

    
por skimon 30.12.2014 / 16:57

2 respostas

3

Ok, vou dar uma cutilada nisso ...

Em primeiro lugar, bitrot é um termo que geralmente significa 'silenciosa corrupção de bit'. Quão sério é um problema? É debatable . Normalmente, um setor (s) vai mal e o HDD o substitui sem você saber. Assim, por exemplo, uma imagem cai em um setor que fica ruim e você obtém uma imagem parcialmente corrompida ou, pior, em um arquivo ZIP, você perde o (s) arquivo (s) inteiro (s) porque não pode mais descompactá-lo.

O rsync não foi projetado para se recuperar do bitrot. Como o wiki bem coloca, é um utilitário amplamente utilizado para manter as cópias de um arquivo em dois sistemas de computador da mesma forma . Se o bitrot ocorre, qual das duas cópias é a correta? Para isso você precisa de 3 ou mais cópias.

BTW, em um disco com arquivos que tiveram setores substituídos, o rsync ainda funcionará como esperado. Ele leu o arquivo e o viu como alterado. Ele irá copiá-lo bem. É somente quando o setor não pode ser substituído automaticamente pelo HDD, porque o conjunto de setores de substituição está esgotado, ele ficará preso.

Como você tem 3 cópias de seus dados, você pode juntar algo com o rsync para fazer uma varredura profunda usando as somas de verificação de todas as três cópias, comparar e atualizar de acordo. Eu não sei se alguém fez algo assim, mas acho que deveria ser possível.

O melhor caminho a percorrer se você estiver seriamente preocupado com o bitrot é armazenar seus arquivos em um sistema de arquivos ZFS em seu computador. dispositivo de armazenamento, pois fornece detecção e recuperação de bitrot. Eu sugiro que você leia sobre como configurar o FreeBSD como um servidor NAS. Alternativamente, eu recomendo que você pesquise soluções de disco RAIDZ que façam a mesma coisa. Estes, eu te aviso, seriam caros.

Espero que isso tenha ajudado.

PS: bitrot pode acontecer de outras formas, não apenas no disco rígido. Memória não-ECC, por exemplo.

    
por 30.12.2014 / 19:33
1

meio vago Q ... mas quando eu recebo erros de leitura há algum tipo de mensagem, como "ler erro em ..." e a leitura falha.

Se você está preocupado com o mau desempenho dos backups, faça 2 backups e mantenha um checksum como o crc32, ou se está preocupado com a adulteração do md5, sha, etc ...

    
por 30.12.2014 / 19:05