É possível compactar um arquivo muito grande (~ 30 GB) usando o gzip? Em caso afirmativo, quais comandos, opções e opções devo usar?
Ou há outro programa (de preferência um normalmente disponível nas distribuições do Ubuntu) que eu possa usar para compactar / zipar arquivos muito grandes? Você tem alguma experiência com isso?
AFAIK não há limite de tamanho para gzip - pelo menos não 30GB. Claro, você precisa do espaço para o arquivo zipado no seu disco, ambas as versões estarão lá simultaneamente durante a compactação.
bzip2 comprime os arquivos (não apenas os grandes :-) melhor, mas é (às vezes muito) mais lento.
Se você precisa de uma boa taxa de compressão, você pode tentar lzma. é mais rápido e mais eficiente que o bzip2 e pode ser mais rápido até que o gzip (não sei ao certo)
Se você está correndo para o limite, reorganize. Em vez de:
gzip file
faça:
gzip < file > file.gz
Funciona bem.
The gzip format represents the input size modulo 2^32, so the
--listoption reports incorrect uncompressed sizes and compression ratios for uncompressed files 4 GB and larger.
Então, pegue bzip2 (v1.0.2 e acima) ou xz .
O XZ definido para a compactação mais baixa pode bem bater o gzip para velocidade e compactação.
Tags compression gzip files filesystems