Estou trabalhando com alguns arquivos muito grandes de captura de pacotes (~ 150GB em 30 arquivos), mas devido à forma como as capturas de pacotes são altamente redundantes, elas compactam para ~ 7% (14.29x) do tamanho original do arquivo usando arquivos .zip.
Eu queria saber se eu poderia trabalhar com esses arquivos "nativamente" criando uma partição do ZFS com a configuração "compression = gzip-9". Eu criei a partição, copiei as capturas de pacote e o resultado final foi uma taxa de compactação de 20,83% (4,80x).
Estou me perguntando por que existe uma discrepância tão grande.
Isso ocorre porque cada registro (bloco de arquivo) é compactado de forma independente (para permitir a leitura no meio do arquivo para arquivos grandes). Definir tamanho de registro grande:
zfs set recordsize=128k zpool/fsname
ou crie um novo sistema de arquivos com grande tamanho de registro:
zfs create -o recordsize=128k zpool/fsname
Esta configuração afeta apenas os novos arquivos criados no sistema de arquivos fsname .
Tags compression gzip zfs filesystems