Perguntas sobre 'deduplication'

Tags
1
resposta

zfs na compactação do Linux e na ordem de desduplicação

Qual é a ordem dos dados gravados em um sistema de arquivos zfs no zfs no linux? O único documento específico que encontrei no link diz; When a file is written, the data is compressed, encrypted, and the checksum is verified. Then, the da...
24.05.2017 / 10:00
1
resposta

Maneira indolor de consolidar arquivos em várias máquinas / sistemas operacionais

Acabei de comprar um NAS. Então, pensei em obter todas as nossas fotos, arquivos de mídia e arquivos PDF consolidados, desdobrados, desfeitos e verificados por antivírus e colocá-los todos nele. Temos 3 laptops, um executando o Windows, o out...
22.07.2012 / 06:44
3
respostas

Backup do servidor de 5 TB

Estou à procura de um software que me ajude a fazer backup de um servidor com 5 TB de dados. Minha lista de desejos: Backup em discos SATA de 1-2 TB Precisa de pouca ou nenhuma configuração (apenas os diretórios para backup e o slot do meu...
02.08.2010 / 09:52
4
respostas

Deduplicar arquivos dentro de vários arquivos .tar.gz

Eu faço um backup noturno do meu serviço de hospedagem como .tar.gz. Os dados alterados são muito pequenos a cada noite (< 10MB). Eu gostaria de arquivar esses arquivos e desduplicar (compactação sólida) arquivos em vários arquivos .tar.gz...
26.02.2013 / 23:55
0
respostas

Rsync, como posso excluir duplicatas remotas?

Estou tentando excluir arquivos duplicados remotos sem transferir os arquivos não existentes e sem atualizar os arquivos existentes. Se eu especificar os dois --existing e --ignore-existing (juntamente com -av --remove-source-files ),...
11.06.2012 / 18:16
1
resposta

Como reduzir o uso de memória após configurar o dedup = off (depois de tê-lo ativado por um tempo)?

Eu sei que a configuração dedup=on causa alto uso de memória e quase nunca vale a pena (veja, por exemplo, link ) . No entanto, eu o liguei para ver como funciona e coloquei 20 GB em um pool de 1,4 TB com um cache. O consumo de memória (dife...
29.10.2016 / 17:12
2
respostas

Remover linhas duplicadas de um arquivo de texto muito grande [duplicado]

Eu tenho um arquivo de texto muito grande (> 50 GB), mas a maioria das linhas são duplicadas, portanto, quero removê-las. Existe alguma maneira de remover linhas duplicadas de um arquivo e manipular arquivos > 2GB? Porque todo método que...
25.11.2013 / 13:28
1
resposta

Sistema de arquivos compactado e deduzido do ZFS no arquivo

Eu posso criar squashed filesystems com mksquashfs desta forma: mksquashfs dir-1 dir-2 ... dir-n filesystem-on-file.squash -comp xz -Xbcj x86 -Xdict-size 1048576 -b 1024k mksquashfs fornece compactação e deduplicação de dados, ma...
27.10.2012 / 16:10
2
respostas

Scanner de arquivos duplicados

Eu tenho uma rede de armazenamento de 15 TB, e agora estou com cerca de 2,5 TB (devido a uma grande quantidade de duplicatas). Eu tentei muitos scanners, mas eu tive pouco sucesso, eventualmente, todos eles falharam devido à enorme quantidade de...
12.05.2012 / 00:47
2
respostas

Desduplica arquivos usando a linha de comando no OSX Lion

Estou usando o OSX 10.8.4 e gostaria de remover arquivos duplicados em um único diretório simples se um hash md5 corresponder. Procurei várias respostas, mas nenhuma delas funcionou para mim, acho que por causa das diferenças na sintaxe de co...
17.08.2013 / 19:27