tar: milhões de arquivos

3

Eu tenho que empacotar cerca de 7.000.000 de arquivos pequenos. Estou procurando uma maneira eficiente de fazer isso.

O tar é o melhor caminho? E quanto aos testes de benchmark ou qualquer outra sugestão?

    
por Peter Mortensen 26.11.2009 / 14:56

3 respostas

5

Algumas pessoas gostam de 7-Zip . Por exemplo, é assim que a Wikipedia empacota imagens completas.

    
por 26.11.2009 / 15:02
2

O TAR não tem sua própria compactação. O TAR está apenas mesclando diretórios / arquivos em um grande arquivo. A velocidade de criação do arquivo tar depende mais do sistema de arquivos e do subsistema de E / S do que do próprio tar. A melhor maneira de obter a maior taxa de compactação é usando 7zip (comando 7zr no * nix / Linux). O tamanho do dicionário maior que você escolher - o arquivo menor que você recebe.

Para Linux, você pode tentar:

7zr a -t7z -m0=lzma -mx=9 -mfb=64 -md=128m -ms=on /path/to/put/archive.7z folder_to_compress
    
por 26.11.2009 / 15:11
0

jar também é muito bom, pois é um zip (compressão) dos arquivos. Se não fosse pela inclusão manifesta, seria quase perfeita (como o jarro parece existir em quase todos os lugares agora)

    
por 26.11.2009 / 15:11

Tags