Propriedades recomendadas de zfs para pontos de montagem de dados de blockchain

4

As tecnologias baseadas em blockchain exigem que grandes conjuntos de dados funcionem. Faz sentido colocá-los em um volume / conjunto de dados separado, caso o sistema de arquivos os suporte. Estou usando o ZFS e queria saber se há alguma propriedade recomendada para definir no conjunto de dados que contém apenas dados de blockchain. É bem compressível (se sim, com o algoritmo)? É deduplicável? Qual é a desvantagem durante a leitura (por exemplo, os dados antigos são acessados com frequência e, portanto, precisam ser descompactados constantemente)?

Estou assumindo que todos eles têm estruturas de dados semelhantes, mas, se não, vamos nos concentrar no que o bitcoin armazena em ~/.bitcoin .

Estou usando o ZFS 7.x no Ubuntu 17.10.

    
por Karl Richter 23.12.2017 / 17:18

1 resposta

1

Em bytes, o formato em disco para o blockchain do Bitcoin é composto principalmente de assinaturas e hashes.

No ZFS ou em qualquer outro sistema de armazenamento, existem três técnicas principais para eficiência de byte:

  1. Compactação: Hashes e assinaturas geralmente parecem números aleatórios, então será difícil obter muito ganho aqui.
  2. Deduplicação: o Dedup exige que correspondências exatas de bloco funcionem, mas não vejo nenhum motivo para que elas existam no blockchain - acho que cada gravação será única.
  3. Captura instantânea / clonagem: Isso só ajuda se você precisar de várias cópias graváveis do blockchain.

Então, na maioria das vezes, minha resposta é que o ZFS (e outros sistemas de armazenamento de arquivos e blocos) não podem realmente ajudar ... a menos que você armazene várias cópias do blockchain.

Se você tiver várias cópias por algum motivo, provavelmente poderá obter enormes benefícios de deduplicação, já que IIUC todo nó deve, eventualmente, armazenar exatamente o mesmo blockchain. Você pode usar um servidor NFS usando o ZFS e montar clones do mesmo sistema de arquivos em todos os lugares em que precisar de uma cópia do blockchain. Isso também tornaria a criação de novas cópias muito mais rápido, já que você poderia fazer imediatamente um clone gravável dos dados em vez de scp ing os dados.

    
por 24.12.2017 / 18:33

Tags