Comprime grandes arquivos similares

Question

Temos um número enorme e crescente de imagens do Windows e outros arquivos grandes. Presumo que a maioria dos arquivos sejam idênticos em vários arquivos.

Existe um sistema de compressão ou mesmo um sistema de arquivos que detecta isso?

    

Answer 1

Sim, você precisa de uma técnica chamada "deduplicação". Não é como a compressão que olha para arquivos individuais, ela procura por repetições em nível de bloco - então se você tivesse um milhão de cópias do mesmo arquivo, deveria armazenar apenas uma cópia real e então se referir a isso com um milhão de ponteiros. Deixe-nos saber qual sistema operacional você está procurando e eu vou tentar encontrar um programa que faz isso para você 'no servidor', muitas vezes é uma função de um sistema NAS / SAN, como arquivadores NetApp.

    

Answer 2

Você pode experimentar o DZO (ainda em versão beta) a partir do link que combina Deduplicação e Compactação sem perdas.

    

Answer 3

Você quer dizer "imagens" como em arquivos ISO / WIM, ou apenas estruturas de diretórios contendo diferentes imagens de instalação do Windows?

Se for o último, o Windows Storage Server 2003 R2 usa Armazenamento de Instância Única , que é uma maneira sofisticada de dizer que detecta várias cópias de arquivos idênticos, armazena-as na Loja Comum do SIS e coloca links nos locais em que os arquivos são destinados ser estar. Isso acontece baixo no sistema de arquivos e é transparente para aplicativos.

O problema é que você não pode simplesmente comprar licenças para o produto WSS, ele está disponível apenas através de parceiros OEM, então você teria que comprar uma nova caixa da HP, Dell, etc., que executa o WSS.