Bem, a palavra-chave era paralela . Depois de procurar por todas as ferramentas de compactação que também eram paralelas , encontrei o seguinte:
PXZ - O Parallel XZ é um utilitário de compactação que aproveita a execução do LZMA
compressão de diferentes partes de um arquivo de entrada em vários núcleos e
processadores simultaneamente. Seu objetivo principal é utilizar todos os recursos para
Acelerar o tempo de compactação com o mínimo possível de influência na compactação
relação.
sudo apt-get install pxz
PLZIP - O Lzip é um compressor de dados sem perdas baseado no algoritmo LZMA, com muito segurança
verificação de integridade e uma interface de usuário semelhante à do gzip ou bzip2.
O Lzip descompacta quase tão rápido quanto o gzip e comprime melhor que o bzip2,
o que o torna adequado para distribuição de software e arquivamento de dados.
O Plzip é uma versão massivamente paralela (multi-threaded) do lzip usando o lzip
formato de arquivo; os arquivos produzidos pelo plzip são totalmente compatíveis com o lzip.
O Plzip é destinado a compactação / descompactação mais rápida de arquivos grandes
máquinas multiprocessadas, o que a torna especialmente adequada para distribuição
de grandes arquivos de software e arquivamento de dados em larga escala. Nos arquivos grandes o suficiente,
O plzip pode usar centenas de processadores.
sudo apt-get install plzip
PIGZ - pigz, que significa Implementação Paralela do GZip, é totalmente funcional
substituição para gzip que aproveita vários processadores e múltiplos
núcleos ao compactar dados.
sudo apt-get install pigz
PBZIP2 - pbzip2 é uma implementação paralela do arquivo de classificação de blocos bzip2
compressor que usa pthreads e alcança speedup quase linear no SMP
máquinas. A saída desta versão é totalmente compatível com o bzip2
v1.0.2 (ou seja: qualquer coisa compactada com pbzip2 pode ser descompactada com
bzip2).
sudo apt-get install pbzip2
LRZIP - Um programa de compactação multithread que pode atingir uma compactação muito alta
taxas e velocidade quando usado com arquivos grandes. Ele usa o combinado
algoritmos de compressão de zpaq e lzma para compressão máxima, lzo
para velocidade máxima e redução de redundância de longo alcance do rzip.
Ele é projetado para escalar com aumentos com o tamanho da RAM, melhorando
compressão ainda mais. Uma escolha de otimizações de tamanho ou velocidade
permite melhor compressão do que o lzma pode fornecer, ou
melhor velocidade do que o gzip, mas com níveis de compressão do tamanho do bzip2.
sudo apt-get install lrzip
Um pequeno Benchmark de compactação (usando o teste que o Oli criou):
TAMANHO DO ARQUIVO ORIGINAL - 100 MB
PBZIP2 - 101 MB (1% maior)
PXZ - 101 MB (1% maior)
PLZIP - 102 MB (1% maior)
LRZIP - 101 MB (1% maior)
PIGZ - 101 MB (1% maior)
Um pequeno benchmark de compactação (usando um arquivo de texto):
TAMANHO DO ARQUIVO ORIGINAL - 70 KB Arquivo de Texto
PBZIP2 - 16,1 KB (23%)
PXZ - 15,4 KB (22%)
PLZIP - 15,5 KB (22,1%)
LRZIP - 15,3 KB (21,8%)
PIGZ - 17,4 KB (24,8%)