Após ler o e-mail original e a @ ewwhite resposta que esclareceu, acho que esta pergunta precisa de uma resposta atualizada, já que a resposta acima cobre apenas metade dela.
Como exemplo, vamos usar a saída no meu pool. Eu usei o comando zdb -U /data/zfs/zpool.cache -bDDD My_pool . No meu sistema, eu precisava do -U arg extra para localizar o arquivo de cache do ZFS para o pool, que o FreeNAS armazena em um local diferente do normal; você pode ou não precisar fazer isso. Geralmente, tente zdb sem -U primeiro, e se você receber um erro no arquivo de cache, use find / -name "zpool.cache" ou similar para localizar o arquivo necessário.
Esta foi a minha saída real e eu a interpretei abaixo:
DDT-sha256-zap-duplicate: 771295 entries, size 512 on disk, 165 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
DDT-sha256-zap-unique: 4637966 entries, size 478 on disk, 154 in core
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
DDT histogram (aggregated over all DDTs):
bucket allocated referenced
______ ______________________________ ______________________________
refcnt blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
------ ------ ----- ----- ----- ------ ----- ----- -----
1 4.42M 550G 498G 500G 4.42M 550G 498G 500G
2 648K 75.8G 68.6G 68.8G 1.39M 165G 149G 149G
4 71.2K 8.07G 6.57G 6.62G 368K 41.7G 34.1G 34.3G
8 28.1K 3.12G 2.34G 2.36G 281K 31.0G 23.1G 23.4G
16 5.07K 424M 232M 241M 110K 9.10G 5.06G 5.24G
32 1.09K 90.6M 51.8M 53.6M 45.8K 3.81G 2.21G 2.28G
64 215 17.0M 8.51M 8.91M 17.6K 1.39G 705M 739M
128 38 2.12M 776K 872K 6.02K 337M 118M 133M
256 13 420K 21.5K 52K 4.63K 125M 7.98M 18.5M
512 3 6K 3K 12K 1.79K 3.44M 1.74M 7.16M
1K 1 128K 1K 4K 1.85K 237M 1.85M 7.42M
2K 1 512 512 4K 3.38K 1.69M 1.69M 13.5M
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
O que isso significa e calcular o tamanho real da tabela de desistência:
A saída mostra duas sub-tabelas, uma para blocos onde existe uma duplicata ( DDT-sha256-zap-duplicate ) e outra para blocos onde não há duplicados ( DDT-sha256- zap-unique ) /. A terceira tabela abaixo dá um total geral em ambos, e há uma linha de resumo abaixo disso. Olhando apenas para as linhas "total" e o resumo nos dá o que precisamos:
DDT size for all blocks which appear more than once ("DDT-sha256-zap-duplicate"):
771295 entries, size 512 bytes on disk, 165 bytes in RAM ("core")
DDT size for blocks which are unique ("DDT-sha256-zap-unique"):
4637966 entries, size 478 bytes on disk, 154 bytes in RAM ("core")
Total DDT statistics for all DDT entries, duplicate + unique ("DDT histogram aggregated over all DDTs"):
allocated referenced
(= disk space actually used) (= amount of data deduped
into that space)
______ ______________________________ ______________________________
blocks LSIZE PSIZE DSIZE blocks LSIZE PSIZE DSIZE
Total 5.16M 638G 576G 578G 6.64M 803G 712G 715G
Summary:
dedup = 1.24, compress = 1.13, copies = 1.00, dedup * compress / copies = 1.39
Vamos fazer alguns cálculos numéricos.
-
A contagem de blocos funciona assim: Número de entradas relacionadas a blocos duplicados = 771295, número de entradas relacionadas a blocos únicos = 4637966, entradas totais na tabela DDT devem ser 771295 + 4637966 = 5409261. Assim, o número de blocos em milhões (milhões binários, isto é!) Seria 5409261 / (1024 ^ 2) = 5.158 milhões. No resumo encontramos que existem 5.16M blocos totais .
-
A RAM necessária funciona assim: As entradas 771295 para blocos duplicados ocupam 165 bytes cada na RAM, e as 4637966 entradas para blocos únicos ocupam 154 bytes cada na RAM, portanto, o total de RAM necessário para a tabela de deduplicação agora = 841510439 bytes = 841510439 / (1024 ^ 2) MBytes = 803 MB = 0,78 GB de RAM .
(O tamanho do disco usado pode ser Funcionou da mesma maneira, usando os números de "tamanho no disco". Claramente, o ZFS está tentando usar E / S de disco com eficiência e aproveitando o fato de que o espaço em disco ocupado pelo DDT normalmente não é um problema. como o ZFS é simplesmente alocar um setor completo de 512 bytes para cada entrada, ou algo ao longo dessas linhas, em vez de apenas 154 ou 165 bytes, para mantê-lo eficiente.Isso pode não incluir qualquer permissão para várias cópias armazenadas em disco, que o ZFS normalmente .)
-
A quantidade total de dados armazenados e o benefício de deduzi-los: Do total de estatísticas de DDT, 715 Gbytes ("715G") de dados são armazenados usando apenas 578 GBytes (" 578G ") de armazenamento alocado nos discos. Portanto, nossa taxa de economia de espaço de desduplicação é (715 GB de dados) / (578 GB de espaço usados após dedu-la) = 1.237 x, que é o que o resumo nos informa ("dedup = 1.24").