O WinRAR detecta arquivos duplicados?

Question

Eu tenho um diretório com subdiretórios e muitos arquivos duplicados neles. Se eu mover tudo para um único arquivo rar, o WinRAR detectará os arquivos duplicados, ou todos eles serão arquivados e serão adicionados ao tamanho do arquivo rar?

    

Answer 1

A nova versão do WinRAR 5.x introduziu o novo formato de arquivo RAR5 e esta é uma das muitas melhorias:

Save identical files as references If this option is enabled, WinRAR analyzes the file contents before starting archiving. If several identical files larger than 64 KB are found, the first file in the set is saved as usual file and all following files are saved as references to this first file. It allows to reduce the archive size, but applies some restrictions to resulting archive. You must not delete or rename the first identical file in archive after the archive was created, because it will make extraction of following files using it as a reference impossible. If you modify the first file, following files will also have the modified contents after extracting. Extraction command must involve the first file to create following files successfully.

It is recommended to use this option only if you compress a lot of identical files, will not modify an archive later and will extract an archive entirely, without necessity to unpack or skip individual files. If all identical files are small enough to fit into compression dictionary, solid archiving can provide more flexible solution than this option.

Supported for RAR 5.0 archives only.

Meu teste rápido na pasta que contém 320000 arquivos (Baldur's Gate Trilogy + Vários mods) tem esta aparência: link

Método de compactação RAR, compactação definida como "Store": 26,1 GB (28,053,815,768 bytes) Método de compressão RAR5, compressão definida para "Store": 23,9 GB (25,722,664,097 bytes)

Então, consegui economizar mais de 9% sem usar qualquer compactação!

    

Answer 2

Se os arquivos forem realmente duplicados (ou quase duplicados), o software de compactação poderá explorar essa similaridade entre os arquivos para aumentar consideravelmente a taxa de compactação. É chamado de Solid Compression . O WinRAR e o 7-Zip são dois arquivadores populares que o utilizam - o 7-Zip faz por padrão. Eu não sou um usuário RAR, então não posso dizer que é configuração padrão.

Arquivadores comuns em sistemas Linux / Unix / BSD também implicitamente fazem compactação sólida ao concatenar todos os arquivos juntos em um único arquivo (na maioria das vezes via tar ) antes de compactar aquele único arquivo como um bloco grande.

A única ressalva em relação a tudo isso é que você realmente não tem como saber exatamente quais arquivos são similares, ou quão semelhantes eles são. Não é uma boa maneira de descobrir quais arquivos duplicados você possui, e extrair o arquivo irá restaurar toda essa duplicação. O que é, normalmente, exatamente o que se quer e se espera com a compactação de dados - para recuperar exatamente o que foi colocado nele.

Se você quiser limpar suas pastas, precisará de um software de detecção duplicado. Para coleções normais, existem muitos softwares que roubam arquivos duplicados. Se você está lidando com mídia (áudio, vídeo, imagens), então você vai querer um software que não procure por duplicatas exatas, mas que possa deduzir os seus arquivos e encontrar grupos de arquivos similares. Dessa forma, se você tiver duas cópias da mesma música com tags diferentes ou compactadas de forma ligeiramente diferente (digamos, um MP3 de 128 Kb / s e um AAC de 256 Kb / s), elas poderão ser identificadas. Ou identificando 2 fotos do mesmo assunto em que uma pessoa foi cortada ou editada. Cada tipo de mídia geralmente possui um software especializado para encontrar arquivos semelhantes, e houve perguntas aqui antes de lidar com as particularidades de cada tipo. É claro que limpar tais coleções é muito mais difícil e demorado porque não há regras rápidas e fáceis para decidir qual arquivo deve ser mantido.

    

Answer 3

O WinRAR não fará o que você deseja. No entanto, existem outras ferramentas que podem encontrar arquivos duplicados dentro de uma pasta ou em uma partição. Eu precisava fazer uma coisa dessas antes, e usei o software Easy Duplicate Finder :

Easy Duplicate Finder is a powerful tool to find and resolve duplicate photos, documents, spreadsheets, MP3's, and more! Removing duplicates will also help to speed up indexing and reduces back up size and time. Your computer isn’t fully optimized until you’ve removed all unnecessary duplicate files. Let Easy Duplicate Finder remove the duplicates!