Utilitários modernos de compactação de arquivos de linha de comando

Question

Estou movendo com frequência arquivos grandes do servidor para o servidor.

Os UNIXes vêm com compressores padrão gzip e bzip2. No entanto, quais opções abertas existem além dessas, especialmente aquelas que utilizam múltiplos núcleos? Estou ciente do pzip2 que estou usando atualmente.

Existe algum benchmark e gráficos atualizados sobre a velocidade e a eficiência dos compressores para ver qual é a troca entre o tempo e o tamanho do arquivo?

Uma alternativa de software livre, que é a distribuição empacotada e suportada no Linux / OSX, preferida. Suporte do Windows desnecessário.

    

Answer 1

Você não fala muito sobre suas prioridades, mas parece que o tempo de compactação para arquivos grandes é sua principal prioridade?

Isto afirma ser adequado para esse caso (veja o sinalizador -l):

link

Na outra extremidade da troca (alta taxa de compactação, longo tempo de compactação), algumas distribuições de software notáveis começaram a usar isso recentemente:

link

link

Re-benchmarking: por que não executar alguns testes rápidos? Os benchmarks costumam enganar porque os resultados podem variar muito dependendo da carga de trabalho e das condições de teste precisas. Ainda assim, aqui está um relatório em alemão (experimente o google translate) sobre o benchmarking de outra pessoa:

link

    

Answer 2

Também vale a pena olhar para pigz para paralelismo e 7zip se o suporte do Windows voltar atrás.