Eu tenho alguns backups completos de coisas como despejos de banco de dados binários. Obviamente, eles não diferem muito, então fazer backups completos não é a ideia mais inteligente aqui. Por enquanto, estou procurando um programa de compactação capaz de tirar vantagem do fato de que a maioria dos arquivos tem um conteúdo semelhante.
Se você primeiro tar os arquivos (usando tar cvf my_backup.tar <file list...> ), qualquer ferramenta de compactação fará um bom trabalho, pois eles verão os dados como um arquivo grande.
Portanto, apenas coloque os arquivos e coloque-os em um zip, 7-zip, bzip2, etc. A partir do arquivo tar, você pode tentar o algoritmo de compressão diferente e ver qual deles executa melhor.
Eu tive muita sorte com o 7-Zip. Se você tem a potência, é capaz de operar com uma janela muito grande. Certifique-se de que seus arquivos originais estejam o mais descompactados possível para encontrar semelhanças. (Para arquivos do Excel em um ambiente heterogêneo, por exemplo, isso significa descompactar seu conteúdo primeiro, pois os arquivos xlsx são levemente compactados quando são armazenados. Eu já consegui compactar 600 MiB + de arquivos de versão do Excel quase redundantes para alguns cem KiB.)
Tags compression