Perguntas sobre 'large-files'

14
respostas

Substituir string em um arquivo de texto enorme (70 GB), uma linha

Eu tenho um arquivo de texto enorme (70 GB), uma linha e desejo substituir uma string (token) nele. Quero substituir o token <unk> por outro token falso ( problema de luvas ). Eu tentei sed : sed 's/<unk>/<raw_unk>...
29.12.2017 / 15:58
6
respostas

cat linha X para linha Y em um arquivo enorme

Digamos que eu tenha um arquivo de texto grande (> 2 GB) e só quero cat das linhas X a Y (por exemplo, 57890000 a 57890010). Pelo que entendi, posso fazer isso canalizando head para tail ou vice-versa, ou seja, head -A /p...
07.09.2012 / 00:38
9
respostas

Como remover linhas duplicadas dentro de um arquivo de texto?

Um arquivo de texto enorme (até 2 GiB) meu contém cerca de 100 duplicatas exatas de cada linha nele (inútil no meu caso, já que o arquivo é uma tabela de dados do tipo CSV). O que eu preciso é remover todas as repetições enquanto (de preferên...
27.01.2012 / 16:34
11
respostas

Existe uma maneira de modificar um arquivo no local?

Eu tenho um arquivo razoavelmente grande (35Gb), e eu gostaria de filtrar este arquivo in situ (ou seja, eu não tenho espaço em disco suficiente para outro arquivo), especificamente eu quero grep e ignorar alguns padrões - existe uma maneira de...
11.04.2011 / 11:53
3
respostas

Transferindo arquivos grandes (8 GB) pelo ssh

Eu tentei com o SCP, mas ele diz "Tamanho do arquivo negativo". >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Também tentei usar o SFTP, funcionou bem até que 2 GB do arquivo foram transferidos e depois parou: s...
16.03.2015 / 17:59
2
respostas

Diffing dois grandes arquivos de texto

Eu tenho dois arquivos grandes (6GB cada). Eles não estão classificados, com linefeeds ( \n ) como separadores. Como posso diferenciá-los? Deve demorar menos de 24 horas.     
16.09.2010 / 12:50
2
respostas

Por que esses arquivos em um volume ext4 são fragmentados?

Eu tenho uma partiçãoext4 de 900 GB% em um disco rígido (magnético) que não tem defeitos nem setores defeituosos. A partição está completamente vazia, exceto por um diretório lost+found vazio. A partição foi formatada usando os parâmetros pad...
18.05.2015 / 01:48
1
resposta

Número de arquivos por diretório

Eu tenho um diretório com cerca de 100.000 arquivos pequenos (cada arquivo é de 1-3 linhas, cada arquivo é um arquivo de texto). Em tamanho, o diretório não é muito grande (< 2GB). Esses dados residem em um servidor NFS administrado profissio...
03.11.2010 / 06:46
5
respostas

Como posso editar um arquivo grande no lugar?

Eu tenho alguns arquivos de tamanho > 1 GB cada. Eu preciso remover alguns últimos bytes dos arquivos. Como eu posso fazer isso? Eu prefiro editar o arquivo para economizar espaço em disco. Estou no HP-UX.     
26.08.2010 / 11:42
2
respostas

feature largefile na criação do sistema de arquivos

É útil usar o sinalizador -T largefile ao criar um sistema de arquivos para uma partição com arquivos grandes como vídeo e áudio em formato flac? Eu testei a mesma partição com essa flag e sem ela, e usando tune2fs -l [partition] , eu veri...
15.07.2012 / 13:08