Pretendo empacotar muitos dados em arquivos para que eu possa armazená-los usando um serviço de armazenamento de arquivos on-line e vários backups locais - a intenção é que esse seja um armazenamento estático de longo prazo. .
Atualmente, estou planejando compactá-los usando 7zip em arquivos .7z , mas prefiro compactar a árvore de pastas em mandris grandes, de forma que cada arquivo contenha ~ 350Mb-1Gb de dados ( antes compressão) e eu estou querendo saber como resiliente o formato é para danificar.
O arquivo é estruturado de forma que danos "menores" possam ser corrigidos?
Ou se o dano for "sério", destruirá o arquivo todo - ou apenas os arquivos no site específico do dano dentro do arquivo?
Essencialmente, a questão oculta aqui é: devo empacotar em muitos pequenos arquivos separados ou poucos grandes?
Qualquer ferramenta de compactação estará sujeita a problemas de corrupção em arquivos muito grandes. Sua melhor aposta é provavelmente usar arquivos menores, mas NÃO volumes de um arquivo maior - como arquivos separados.
O AFAIK 7zip perderá todo o arquivo se você tiver danos no arquivo em uma parte do arquivo.
O 7-zip perderá todo o arquivo, mesmo que haja apenas pequenas corrupções. Isso ocorre porque o 7-zip só usa compactação sólida , o que significa que todos os arquivos são aglomerados juntos. No entanto, os autores de 7-zip oferecem um tutorial sobre como tentar corrigir manualmente o seu arquivo 7zip aqui .
Se você quiser recuperar arquivos não corrompidos de um arquivo corrompido, é necessário criar um archive não sólido, como um zip com DEFLATE. Eu tentei vários formatos, incluindo o ARC, que permite arquivos não sólidos, mas foi menos resistente do que o zip. Há também o formato PEA (por PEAzip), que permite a extração parcial, e o RAR (pelo WinRAR), que tem especificamente uma opção " mantém arquivos quebrados " para permitir a extração parcial.
Você pode experimentar vários formatos de compactação e ver se ainda é possível descompactar seus dados usando um ferramenta Python de adulteração de dados simples .
Se você quiser redundância na sua compactação, sugiro usar arquivos rar / par / par2. Este tem sido um padrão para redundância de compressão para arquivos enviados por grupos de notícias e muitas outras fontes. Você divide seus arquivos em vários arquivos rar ... e você pode até mesmo perder arquivos raros inteiros e ainda recuperar seus dados. Para dados que não são bem compactados, isso pode realmente aumentar o tamanho total, mas esse é o preço que você paga pela redundância.
Dependendo de suas necessidades, talvez seja melhor introduzir a redundância em outro nível. O que eu quero dizer é que você pensa em outra cópia completa dos arquivos, em vez de tentar aliviar o dano parcial. Em seguida, você verifica regularmente as somas de verificação desses arquivos e sempre que surgir um problema, substitua o hardware defeituoso e copie novamente de um backup intacto.
Tags backup compression 7-zip