Software de arquivo para arquivos grandes e índice rápido

Question

Atualmente, estou usando o tar para arquivar alguns arquivos. O problema é: os arquivos são muito grandes, contém muitos dados e o tar é muito lento ao listar e extrair.

Muitas vezes preciso extrair arquivos ou pastas individuais do arquivo, mas atualmente não tenho um índice externo de arquivos.

Então, existe uma alternativa para o Linux, permitindo que eu construa arquivos compactados descompactados, preservando os atributos de arquivos e tendo uma lista de acesso rápido?

Estou falando de arquivos de 10 a 100 GB, e é praticamente impraticável esperar vários minutos para acessar um único arquivo.

De qualquer forma, qualquer truque para resolver este problema é bem-vindo (mas arquivos únicos não são opcionais, portanto não há rsync ou similar).

Obrigado antecipadamente!

EDITAR: Eu não estou compactando arquivos, e usando tar eu acho que eles são muito lentos. Para ser preciso sobre "slow", eu gostaria disso:

• listar o conteúdo do arquivo deve levar um tempo linear nos arquivos contados dentro do arquivo, mas com uma constante muito pequena (por exemplo, se uma lista de todos os arquivos estiver incluída no cabeçalho do arquivo, poderá ser muito rápida).
• a extração de um arquivo / diretório de destino deve (tempo do sistema de arquivos) levar um tempo linear com o tamanho do alvo (por exemplo, se eu estiver extraindo um arquivo PDF de 2MB em um diretório de 40GB, eu realmente gostaria de levar menos de alguns minutos ... se não segundos).

É claro que esta é apenas a minha ideia e não um requisito. Eu acho que tais performances poderiam ser alcançadas se o arquivo contivesse um índice de todos os arquivos com respectivo offset e tal índice fosse bem organizado (por exemplo, estrutura de árvore).

    

Answer 1

Encontrei um tópico semelhante no serverfault.

link

Estou vendo o DAR, que parece ser o que preciso, mas deixarei essa questão em aberto para outras sugestões.

    

Answer 2

Confira pixz ou p7zip usando a opção -ms=off .

pixz é um pouco mais rápido, funciona bem com arquivos tar, preserva permissões e tem uma CLI de linux muito melhor.

7zip tem melhor suporte multi-plataforma.

Veja aqui para mais detalhes.

    

Answer 3

Se tar não for um requisito, uma pesquisa rápida indicará que ar permitirá um arquivo indexado.