Como avaliar se vale a pena usar a desduplicação?

Question

Eu tenho uma partição em que estou pensando em usar a deduplicação.

Para o perfil dos dados, acho que será uma boa escolha. Ainda assim, antes de fazê-lo, gostaria de avaliar o impacto de uma forma mais sistemática do que "sentir".

Existe uma ferramenta que avalia o impacto da desduplicação em uma partição? (no nível do arquivo ou no nível do bloco).

Por enquanto eu tenho o Ubuntu e o Ext4, mas se a desduplicação se mostrar valiosa nessa situação, eu estou pensando em usar o opendedup ou o lessfs. Qualquer outra sugestão, mesmo que isso possa significar usar uma distribuição diferente / free * nix.

    

Answer 1

Você não especificou qual sistema de arquivos. Se você está falando sobre o ZFS, pode usar o comando zdb para ver qual efeito a ativação da dedução teria:

# zdb -S tank
Simulated DDT histogram:

bucket              allocated                       referenced          
______   ______________________________   ______________________________
refcnt   blocks   LSIZE   PSIZE   DSIZE   blocks   LSIZE   PSIZE   DSIZE
------   ------   -----   -----   -----   ------   -----   -----   -----
     1      775   96.8M   96.8M   96.8M      775   96.8M   96.8M   96.8M
     2        2    256K    256K    256K        6    768K    768K    768K
     4        3    384K    384K    384K       13   1.62M   1.62M   1.62M
   128        1    128K    128K    128K      158   19.8M   19.8M   19.8M
 Total      781   97.5M   97.5M   97.5M      952    119M    119M    119M

dedup = 1.22, compress = 1.00, copies = 1.00, dedup * compress / copies = 1.22