Melhor configuração do sistema de arquivos para o cenário de perda parcial de dados: ok '

Question

Estou procurando a melhor maneira de configurar sistemas de arquivos / partições para um servidor de armazenamento com a especialidade de que a perda parcial de dados não seja um problema.

Digamos que eu tenha discos de 4x3TB e eu quero organizá-los de uma maneira que a) eu tenha o espaço máximo disponível para a partição de armazenamento e b) as partições do sistema sejam espelhadas e consumam a falha de um disco . (a perda parcial de dados não é tão importante nesse cenário, digamos que armazenamos dados reproduzíveis, mas é muito demorado recriá-los)

Minha abordagem atual é a seguinte:

• RAID1- > EXT4 em duas partições de ~ 100 GB em disco diferente para o sistema arquivos.
• LVM- > DMCRYPT- > EXT4 com o restante das partições e discos. (armazenamento deve ser criptografado)

O interessante aqui é: Poderia montar o dispositivo dmcrypt depois que digamos que o disco nº 3 (enquanto o disco nº 1 e o disco nº 2 são aqueles com as partições RAID) falhou (no pior cenário, todos os dados são perdido) e foi substituído? E sobre o sistema de arquivos ext4, eu seria capaz de consertá-lo? Tenho certeza de que perderia todos os dados armazenados nesse disco específico, mas e o resto?

Talvez eu esteja sentindo falta de algum sistema de arquivos / programa que possa lidar bem com tais situações, mas na maioria das vezes é tudo sobre recuperação de dados, o que não é muito útil nesse caso. Estou aberto a qualquer abordagem diferente que se encaixe.

EDITAR : Claro que eu poderia fazer DMCRYPT- > EXT4 em todas as partições de armazenamento, mas quero um ponto de montagem para ele e, claro, não o trabalho de abrir todos os dmcrypts na reinicialização (com o acima da configuração eu só tenho que fazer isso uma vez).

    

Answer 1

Se você não se preocupa com a perda parcial de dados e não deseja redundância, sugiro que você crie um sistema de arquivos separado em cada disco físico e divida-o como programa. Eu acho que você está usando para dados com hash ou algo assim - nesse caso, muitas vezes é possível dividir dados em diretórios - por exemplo - com base na soma md5 de arquivos - e dividir os dados em discos diferentes em parte. Mouting it - não é problema - você pode ter chave compartilhada para dispositivos de bloqueio de decodificação colocados em armazenamento não criptografado.

Se você quer redundância - simplesmente use o raid5 ou algo parecido. Ou - mais "software" de armazenamento - gluster ou ceph.

Os sistemas de arquivos padrão não estão preparados para situações em que parte do espaço onde estão desaparecerá.

    

Answer 2

Diferente da partição do sistema de 100GB subjacente, não há nenhum RAID envolvido. Tudo o mais dependerá de como o seu LVM e seus componentes subjacentes estão organizados - informações que você não forneceu.