Eu fiz o download da wikipedia em um formato compactado. É um arquivo .7z, que contém um arquivo .tar. Na forma comprimida, é apenas 14 GB. Se eu descomprimi-lo, ele tem 208 GB nele. E eu não tenho muito espaço no meu disco rígido.
Eu acho que há uma maneira de usá-lo em sua forma compactada, usando algum tipo de ferramentas de montagem.
Estou no Windows Vista.
O que fazer?
Acho que você deve extrair o arquivo tar.7z uma vez para todo o seu tamanho de 200 GB,
Então você pode voltar a zipar o diretório base como um arquivo 7z puro.
Provavelmente não será superior a 14 GB.
Você pode então procurar o novo arquivo 7z mais facilmente.
isso irá requerer um un-zip, un-tar e re-zip que ocupará espaço em disco e computará o tempo.
Qualquer gerenciador de arquivos Orhtodox permite que você navegue pelos arquivos. Eu sei que o Total Commander tem um plugin 7zip que permite que você navegue pelo arquivo 7z como um diretório.
Em uma caixa Unix (ou com o cygwin (Unix para Windows), um ambiente Unix), você poderia enviar o arquivo e obter uma listagem dele, ou provavelmente criar um arquivo zip da coisa toda, o que permitiria acesso aleatório.
De certa forma, o tar é um recurso, já que era destinado a unidades de fita (acesso linear unidirecional).
Obtenha um Linux vm e um env virtual (digamos, vmware server?) ou cygwin e divirta-se.
7z -options_to_extract_to_console/pipe wiki9.tar.7z | tar t > listing_of_files.txt
daria uma lista do que estava lá
Então
7z -same_options_as_before wiki9.tar.7z | tar -xT list_of_files_I_want
e deve escrevê-los (possivelmente em algum lugar estranho).
eu acho. Eu não tenho a lista de switches 7z no Unix à mão agora.
Ou para torná-lo um arquivo zip:
7z -same_options_as_before wiki9.tar.7z | tar -x | zip wiki.zip -
Note que ele provavelmente será 2-4 vezes maior (é melhor juntar os arquivos e comprimir do que compactar um de cada vez, e o 7z usa melhor compactação).
Espere levar horas.
Considere pedir emprestado um drive externo por alguns dias :-D ou atualize seu HD, com menos de $ 100 para interna ou externa acima de 200gb, até laptop HD.
Abra com o 7Zip? Eu só vou descomprimir o que você diz a ele ... pode levar algum tempo, no entanto.
Editar: Espere um minuto, acabei de perceber que talvez seja uma ideia de despejo devido ao tamanho. Eu não sei exatamente como o 7Zip funciona, mas eu acho que ele está apenas extraindo a lista de arquivos, sem armazenar todo o conteúdo em cache.
Você basicamente não pode realizar isso. O estilo de compactação do 7zip não se presta a abrir seções aleatórias sem abrir o arquivo inteiro. Se bem me lembro, é um sistema de fluxo.
Por exemplo, isso é diferente de arquivos .zip que compactam cada arquivo individualmente (com qualquer algoritmo que desejem), e .bz2 usará um tamanho de bloco fixo (normalmente) de 900kb. Ambas as formas podem ser usadas para procurar um espaço individual sem compressão completa.
E, só para adicionar insulto no caso de eu estar errado sobre a história do .7zip: arquivos Tar não armazenam suas informações de arquivo em um local central, então você também tem que expandir isso. Consulte o link
Você basicamente terá que encontrar o espaço em disco se quiser usar esses arquivos.
FYI, os despejos de dados da Wikipedia geralmente são apenas um arquivo XML.
Há alguns anos, escrevi um analisador de dados da Wikipedia em C: wikiq . Ele converte fluxos de despejo de dados em um formato de histórico de revisão separado por tabulações, passível de ser usado em programas de processamento estatístico.
7za e -so <file> | ./wikiq | <tab-separated processing program>
Se você eliminar dados de texto e comentários (como faz por padrão), o processamento é limitado pela descompressão (20-30mb / s).