Compactação ultra-eficiente

Question

Eu armazeno uma quantidade muito grande de logs (TBytes). Esses logs raramente serão extraídos e, quando forem, apenas um único arquivo será necessário.

Você poderia recomendar um algoritmo de compactação extremamente eficiente e extremamente eficiente que seja consideravelmente melhor do que o bzip2 ?

    

Answer 1

O lzma (aka xz) deve ser notavelmente melhor que o bzip2, mas vai demorar um pouco mais.
O paq (também conhecido como zp) será ainda melhor, mas demorará séculos para ser comprado e demorado para ser descompactado.

Ambos estão disponíveis para ambientes Windows e * nix (a maioria dos sistemas * nix tem pacotes disponível)

Um teste rápido em um log inteligente:

Original       3900K
GZip            208K    0.11s
BZip2            71K    3.07s
XZ               13K    1.76s*
ZP                6K   25.68s*

* Eu tenho -O3 portas compiladas para xz e zp . Os binários gzip e bzip2 foram pré-compilados sem otimização.