Eu tenho um monte de dados que eu não tenho que "pegar de imediato", e eu queria saber se havia algum software de compressão que eu pudesse usar que pudesse comprimi-lo para um tamanho menor do que o que eu tenho atualmente ficando com 7zip. A compactação de um conjunto de dados leva aproximadamente 10 minutos (otimizando o tamanho do arquivo) e muito menos para descompactar. Assumindo que eu poderia gastar horas em compactação + extração, haveria alguma maneira de obter os arquivos compactados ainda menores?
Até agora, eu ainda não vi nenhum programa de compressão assistida por GPU, alguém viu algo flutuando?
Isso realmente depende do que você está compactando e se você precisa de compactação sem perdas ou não.
Confira:
http://www.maximumcompression.com/
É um website com benchmarks para diferentes programas de compressão de dados, testando-os em várias condições e classificando para vários parâmetros (comprimir / descomprimir velocidade / relação).
A melhor resposta a esta questão é quase certamente a família de algoritmos PAQ designada por Matt Mahoney. Ele usou para ganhar vários conteúdos de compressão de dados, e quando eu verifiquei pela última vez ainda mantive alguns de seus registros. Demora muito tempo para compactar e pode exigir grandes quantidades de RAM, mas eu vi significativamente diminuir até mesmo os arquivos que já estavam altamente compactados (como arquivos existentes).
Você pode obter a versão mais recente e todas as principais versões anteriores (algumas com diferentes áreas de foco, como facilidade de uso ou operação paralela), do utilitário de linha de comando aqui: link
Existem também outras implementações que você pode preferir. Se você quer uma interface gráfica, existe um plugin de "formatos adicionais" para o PeaZip que inclui PAQ : link
lrzip é um utilitário de linha de comando que é otimizado para arquivos grandes (intervalo GB). Ele usa um algoritmo de redução de redundância de longo alcance seguido por um segundo algoritmo selecionado pelo usuário, que pode incluir uma versão do algoritmo PAQ (ou vários algoritmos mais rápidos, se você desejar). Ele também tem outros recursos interessantes, incluindo a capacidade de usar a RAM virtual para compactar arquivos maiores que a RAM física do seu sistema, em detrimento da desaceleração drástica.
Além de usar um poderoso algoritmo de compactação, você pode reduzir o tamanho do seu arquivo final pré-processando os arquivos com outras ferramentas. Você pode converter alguns arquivos de formatos inerentemente inchados para os mais enxutos ou tirar metadados deles. Usando um utilitário como dar (embora a maioria das pessoas provavelmente prefira o antigo tar ) você pode combinar um grande número de arquivos para tornar a compactação mais eficiente e controlar a quantidade de metadados do sistema de arquivos (como permissões Unix) que programas como o 7zip incondicionalmente adicionar aos seus arquivos. Qualquer uma dessas técnicas pressupõe que você esteja disposto a dedicar mais tempo pessoal além dos recursos da máquina.
EDIT: Descobri que tar e dar não permitem controle sobre metadados, nem dar supercede tar da função definida como sua missão implica. No entanto, ambos suportam arquivos esparsos e dar pode tornar a compactação mais eficiente se a opção de gravar cabeçalhos de arquivo apenas no índice for usada (normalmente dar escreve tar -estilos no estilo além do índice).
Com relação à compactação da GPU, também não vi isso. Pode não ser viável se a compactação for mais dependente da RAM do que o número de núcleos, como o Litecoin.
Todos os programas listados aqui são gratuitos, de código aberto e (com a possível exceção de lrzip ) disponíveis para todos os principais sistemas operacionais.
Jeff Atwood, nosso líder destemido, tem um muito a dizer sobre a compactação de arquivos.
Por que vale a pena, a configuração Ultra do 7-Zip para compressão 7z é provavelmente a melhor que você terá ao compactar vários tipos de arquivos diferentes.
Um programa que às vezes pode melhorar a taxa de compactação: cromfs
Ele cria um sistema de arquivos compactado somente leitura que pode ter uma taxa de compactação maior do que o arquivo normal em alguns casos (embora o número máximo de blocos pareça ser limitado - a compactação é muito ávida pela memória).
Você pode tentar o 7zip com as seguintes configurações:
7z a -t7z -m0=lzma -mx=9 -mfb=64 -md=32m -ms=on big_file.mysql.7z big_file.mysql
Tags compression