Quanta memória é necessária para enviar um fluxo ZFS deduplicado?

Question

No ano passado eu configurei um par de servidores para meu empregador, executando o FreeBSD 10.1 com um grande pool de armazenamento em cada servidor. Discos de 12 x 2 TB, em um zpool configurado como dois raidz2 vdevs de seis discos cada. Um desses servidores é um standby e é uma réplica do servidor ativo.

Gostaríamos de criar um backup em algum tipo de armazenamento separado para proteger contra os tipos de falhas que não sejam de falha, como erros de administrador.

Testes preliminares sugerem que simplesmente usar o servidor de réplica em standby para 'zfs enviar' um fluxo deduplicado (-D) para algum armazenamento externo seria adequado, mas não consigo encontrar nenhuma informação sobre se os requisitos de memória de envio de um desduplicado stream são os mesmos que os requisitos para usar dedup em primeiro lugar.

O zfs send -D tem os mesmos requisitos de memória para a tabela DDT que a dedução normal com o ZFS?

    

Answer 1

A pergunta foi feita aqui .

E a resposta é sim, ela precisa de mais memória, porque tem que acompanhar qual bloco foi enviado e qual não foi. A quantidade de memória deve ser proporcional à quantidade de dados no instantâneo transferido.

Ativar a dedução no sistema de arquivos não ajudará nos requisitos de desempenho / memória. Habilitar cheksumms SHA256 ajudará o desempenho um pouco.

entre. a questão é, você faz tantas mudanças no sistema de arquivos e tem um link tão lento e tem dados bem deduplicáveis, de modo que isso fará uma grande diferença para você, para fazer valer a pena considerar?