Limite de tamanho de arquivos máximos do utilitário de compactação | Unix / Linux

Question

No Unix / Linux existe algum limite de tamanho máximo de arquivos que um utilitário de compressão (gzip / compress) pode compactar. Eu me lembro de anos atrás, foi mencionado na página gzip que ele pode compactar arquivos de até 4 GB. Na verdade eu preciso compactar fillies de cerca de 512 GB regularmente. Eu testei alguns arquivos com o utilitário de compactação e encontrei o código de hash (MD5) dos arquivos de banco de dados antes de compactar e após a compactação ser o mesmo.

    

Answer 1

gzip hoje em dia pode compactar arquivos com tamanho superior a 4 GiB e, na verdade, ele não tem nenhum limite próprio (você será limitado pelo sistema de arquivos subjacente). A única limitação com arquivos maiores que 4 GiB é que gzip -l não informarão o tamanho corretamente. consulte A maneira mais rápida de trabalhar com o tamanho não compactado do arquivo GZIPPED grande para obter uma alternativa.

Existem muitas outras ferramentas de compactação que fornecem melhor compactação e / ou velocidade, que você pode achar mais apropriado: XZ , 7-Zip ...

    

Answer 2

O gzip é uma conctraction de fluxo concatenável (veja "uso avançado" na página man), então se o algoritmo atingir um limite de codificação (*) ele pode apenas terminar o fluxo atual e iniciar um novo fluxo.

Portanto, não há limite rígido no tamanho dos dados no próprio gzip

(* Eu não sei o suficiente sobre Xflate para dizer se há um limite ou não)