Perguntas sobre 'large-files'

2
respostas

Imprima cada linha várias vezes, mas diferentes

Eu tenho um arquivo enorme, ~ 4000000 linhas que se parecem com isso: arquivo : 1 1 2 3 2 4 ... basicamente, cada linha contém um número. Considerando este exemplo, gostaria de gerar um arquivo com a seguinte aparência: newFile...
25.08.2016 / 21:23
1
resposta

Existe uma maneira eficiente de analisar blocos de texto em python?

Eu tenho um arquivo enorme (~ 70GB) com linhas parecidas com esta: $ cat mybigfile.txt 5 7 1 1 0 -2 0 0 2 0 4 0 -4 0 0 4 0 0 1 -1 0 0 0 0 0 0 0 1 0 -1...
10.02.2017 / 04:47
1
resposta

O vi tradicional (não vim) tem suporte a arquivos grandes?

Existe uma maneira de compilar o suporte tradicional do Vi (ex) com arquivos grandes (3+ GB)? Estou tentando abrir um arquivo com cerca de 3,5 GB de tamanho e o Vi simplesmente diz: Tmp file too large . Se o suporte a arquivos grandes não é...
10.10.2016 / 21:27
1
resposta

Servidor relata tamanho de arquivo incorreto ao baixar um arquivo grande

Eu tenho um grande arquivo tarball em um servidor web OS X que eu carreguei via sshfs. O arquivo no meu computador antes do upload é 5345834658 bytes. O arquivo após a cópia é 5345834658 bytes no servidor para que tudo pareça ter ido corretament...
07.11.2014 / 22:19
2
respostas

Leia o arquivo, encontre todas as ocorrências e gere hash para o conteúdo entre as ocorrências

Eu tenho um arquivo como este: 1 Record|1111|ABC 2 text in between for record 1 3 text in between for record 1 4 Record|2222|XYZ 5 text in between for record 2 6 Record|3333|XYZ 7 text in between for record 3 8 . Eu qu...
21.11.2014 / 09:54
2
respostas

maneiras rápidas de remover as linhas iniciais do arquivo de texto grande

Eu tenho um arquivo de texto grande (> 500 GB), todas as formas que posso encontrar (sed / tail e outros) exigem que você grave o conteúdo de 500 GB no disco. Existe alguma maneira de remover rapidamente as primeiras poucas linhas sem gravar...
16.02.2017 / 23:55
1
resposta

Vazamento de memória do Gawk com frequência de palavras

Eu tenho o seguinte script: #!/usr/bin/env bash grep -e '^[a-zA-Z]\{4,8\}$' data/words3.txt | tr '[:upper:]' '[:lower:]' | sort -u > data/passphrase-words.txt function wordfrequency() { awk '{ for (i=1; i<=NF; i++) { word = tolower(...
13.11.2016 / 05:12
2
respostas

Awk - Compare o valor de uma coluna com uma variável, conte quantas vezes ela passa para cada ID

Estou tentando encontrar uma solução, mas agora preciso de ajuda. Primeiro, como entrada, eu tenho um arquivo grande (5.5G) com essa estrutura: scaffold4691_size302 2 T 1 scaffold4691_size302 3 A 1 scaffold469...
14.03.2017 / 17:13
1
resposta

Abrindo arquivo de log de armazenamento grande no vi

Eu tenho um log de armazenamento em uma partição AIX. Quando tento editar o arquivo com um comando vi, recebo a seguinte mensagem: ex: 0602-101 Out of memory saving lines for undo delete lines Eu não quero estender o limite de arquivo para...
20.01.2017 / 13:51
1
resposta

Comparando dois arquivos com um programa GUI de fácil leitura?

Eu gostaria de comparar dois arquivos grandes que não são próximos de 1 GB de tamanho. Kompare falha quando o carregamento de arquivos é grande. Eu configurei Kompare como na foto abaixo: Gostariadeapresentarasdiferençasdeumaformaqu...
13.09.2018 / 22:54