Compactação de arquivos grandes

Question

Estou tentando compactar grandes conjuntos de dados (de 15 a 400 GB cada). Eu estou procurando o melhor software de compressão para Mac que tenha

1. Alta taxa de compactação.
2. É rápido

Eu tentei 7zX, que tem excelente taxa de compressão nas configurações Ultra, mas é muito lento. Gostaria de saber se posso alterar as configurações para que

1. usa todos os núcleos que eu tenho
2. a RAM máxima
3. e CPU máxima.

Então eu posso encurtar esse tempo. Ou se houver outro software que ofereça essa opção. É claro que, se alguém puder recomendar um software melhor, eu ficaria feliz com isso.

Também sobre fluxos de trabalho sobre como lidar com arquivos grandes que precisam ser compactados / descompactados posteriormente.

Obrigado.

    

Answer 1

Existem versões do bzip ( pigz ) e do bzip2 ( pbzip2 ) que são multi-threaded. Ambos usarão 100% de todos os núcleos.

Usar o máximo de RAM não faz sentido e os algoritmos levarão o necessário para rodar, não mais.

Qual algoritmo é o melhor, depende do seu caso de uso e dados, mas o pigz provavelmente será um dos mais rápidos e 7z um dos mais lentos, mas com melhor taxa de compressão.