Perguntas sobre 'deduplication'

Tags
1
resposta

Como obter tar para vincular conteúdo idêntico on-the-fly durante a criação do arquivo?

Como posso obter tar (ou qualquer outro programa que esteja normalmente disponível no Linux, por exemplo, pax ) para vincular conteúdo duplicado rapidamente durante a criação do arquivo? Ou seja, eu gostaria de evitar o endireitamento in...
12.04.2015 / 12:01
2
respostas

Como o tar lida com arquivos hardlinked? [duplicado]

Tenho 2,5 TB de dados que quero colocar em um disco rígido de 2 TB para enviar mensagens para algum lugar. Não é impossível, uma fração muito grande dos dados consiste em arquivos duplicados. Estou pensando em usar o jdupes com a opção -...
09.11.2016 / 01:09
2
respostas

Ferramenta de deduplicação para rsync?

Existe uma ferramenta Linux / Unix que desduplica semelhante à forma que a Veeam faz antes de compactar e enviar um backup com o rsync para um local espelhado?     
20.02.2015 / 22:06
1
resposta

Como avaliar se vale a pena usar a desduplicação?

Eu tenho uma partição em que estou pensando em usar a deduplicação. Para o perfil dos dados, acho que será uma boa escolha. Ainda assim, antes de fazê-lo, gostaria de avaliar o impacto de uma forma mais sistemática do que "sentir". Existe...
15.05.2014 / 14:12
2
respostas

Encontre arquivos recursivamente, mas escolha o maior entre aqueles com nomes duplicados

Dada uma estrutura de diretórios aninhada contendo vários arquivos, eu gostaria de encontrar todos os arquivos dentro dela, mas onde houver vários arquivos com o mesmo nome, eu gostaria de retornar apenas o maior arquivo. Assim, por exemplo,...
07.12.2015 / 09:28
3
respostas

deduplicação de linhas em um arquivo grande

O tamanho do arquivo é 962,120,335 bytes. HP-UX ****** B.11.31 U ia64 ****** licença de usuário ilimitado hostname> what /usr/bin/awk /usr/bin/awk: main.c $Date: 2009/02/17 15:25:17 $Revision: r11.31/1 PATCH_11.31 (PHCO_36132)...
19.03.2015 / 08:39
2
respostas

transfere muitos arquivos similares sobre o ssh

Um serviço em um servidor linux só é capaz de fazer backups completos, onde cada backup é um arquivo .tar (sem compactação). Muitos conteúdos do arquivo não mudam de dia para dia. Cada tamanho de arquivo .tar é de cerca de 3 GB (aumentando lenta...
23.07.2015 / 11:55
1
resposta

Is '--reflink = auto' seguro para definir como padrão para cp?

Eu sou atualmente um usuário do BTRFS e gostaria de aproveitar a CoW de tal forma que quando arquivos são copiados no mesmo sistema de arquivos btrfs, eles são automaticamente desduplicados reutilizando a extensão existente. Existem duas maneira...
10.06.2015 / 10:14
1
resposta

Semântica de deduplicação com btrfs - metadados difere, dados de arquivo idênticos

Então eu li este artigo Wiki sobre a desduplicação com o btrfs. No entanto, ele não descreve a semântica seguida pela deduplicação do btrfs. Suponha que você tenha uma dúzia de arquivos. Todos eles contêm dados idênticos, mas sua propriedad...
07.05.2015 / 20:49
1
resposta

Sincroniza a árvore de diretórios com deduplicação?

Eu tenho dois servidores Linux que possuem uma grande quantidade de dados (1TB +) que precisam ser sincronizados em uma conexão lenta (100 KB / s). Muitos dos dados se sobrepõem, mas estão em locais diferentes. Eu gostaria de algum tipo de...
15.06.2012 / 22:20