Raid1, três unidades a mais, solução para configurações multi-terrabytes em pequenas empresas?

Question

Com a relação entre espaço e custo de discos rígidos levando a capacidades que apresentam um desafio crescente para sistemas de Raid de paridade (probabilidade de URE, reconstrução de vários dias sobrecarregando acionamentos e risco de falha secundária), há um caso a ser apresentado uma oportunidade / recomendação para configurações de vários discos (> 2) Raid 1 para uso em casa e em pequenas empresas? Ou seja, Raid1 'desperdiça' espaço comparado a um esquema de paridade, mas com drives mutli-terabytes baratos, o espaço não é provavelmente a commodity que temos para desperdício comparado à memória, largura de banda, clock da cpu etc exigido em striping, reconstrói etc.

Se eu entendi a tecnologia corretamente, uma configuração de Raid 1 (> 2):

• .. não pode falhar uma reconstrução, desde que uma unidade esteja acessível, assim como os arquivos.
• .. fornece maior segurança em relação à contagem de unidades. É basicamente uma inversão da razão certa? O Raid5 em três discos fornece 66% de capacidade utilizável e pode lidar com uma falha de 33% (1 unidade). Raid1 fornece apenas 33% de capacidade, mas 66% de falha (2 unidades).
• .. tem um mecanismo de recuperação mais fácil e robusto. Em condições terríveis, o Raid não precisa ser reconstruído para acessar os dados. As unidades podem ser migradas entre sistemas diferentes.

Esse último ponto parece semelhante à filosofia não-renderizada, na qual os arquivos são salvos em unidades, e não distribuídos, e o segundo ponto sugere algo mais atraente para uma pequena empresa; priorizando a segurança de dados sobre a capacidade de dados. Qual é o ponto de poder armazenar mais dados se estiver em maior risco?

Perguntas:

1. Uma estratégia de "espelhamento manual" do conteúdo, em oposição a Raid1 copiar no momento da escrita, evita possíveis problemas com corrupção de memória não-ECC? Como o trabalho de gravar em cada disco seria um processo distinto, a mesma falha de memória que ocorre em uma gravação não ocorreria teoricamente em outra?

2. Existe um software / hardware Raid1 projetado para funcionar com mais de duas unidades e, portanto, pode lidar com comportamentos que tradicionalmente não são da raid1, como bit-rot, URE etc? Com uma configuração de espelho de disco tradicional, se o disco A relata um 0 e B relata um 1, você não tem idéia de quem fez a inversão, mas em uma solução de três ou mais discos você não pode "corrigir" o disco estranho? A = 0, B = 1, C = 0, portanto, B deve ter invertido?

3. Ao mesmo tempo, essa solução Raid1 suportaria leituras paralelas de mais de dois discos para fornecer velocidades de leitura aceleradas? Isso é especialmente importante, pois imagino que há muitas empresas que leem os mesmos dados muito mais vezes do que a editam.

4. O Raid não é uma solução de backup. Portanto, se você seguisse uma boa prática e tivesse entre 2 a 3 locais de armazenamento, pretende-se que apenas um deles seja protegido contra falhas de unidade por meio de um esquema de invasão ou você esperaria que um segundo local externo também tivesse redundância de multidisco? É o caso que até mesmo uma única unidade, armazenada em um local diferente, é considerada protegida da falha do dispositivo porque está em um relacionamento de espelho 'eficaz' com as unidades nos outros locais? Se não, o Raid1 não oferece algum redutor para a menor contagem mínima de unidades (2)?

Atualização:

Re ponto 1, como alguns apontaram, isso depende de uma fonte de dados livre de erros. Este é, no entanto, o caso de praticamente qualquer estratégia de armazenamento / backup. Podemos usar sistemas sofisticados para integridade de dados em nossas soluções NAS / SAN, mas os dados que armazenamos neles geralmente são gerados por estações de trabalho e dispositivos sem essas medidas. A maioria dos PCs de produção são construídos para custo ou velocidade. Altamente improvável, especialmente em uma pequena empresa, que o computador que você faz seu CAD ou finanças ou powerpoint etc. use unidades formatadas em ZFS e memória ECC.

No meu exemplo específico, uma das coisas que vou procurar armazenar será a saída de uma câmera. Eu tenho que assumir que as fotos e vídeos que ele salva no cartão SD estão 'corretos', e não há muito que eu possa fazer se a corrupção ocorrer no ponto da cadeia de dados.

Sugestão:

Se essa estratégia não for suportada no nível de RAID, há algum pacote de software que possa ser usado para executar manualmente algumas das atividades das quais estou falando? Escrever cópias através de tarefas rysnc enfileiradas e discretas? Um script bash poderia executar uma limpeza periódica de podridão de bits? Basta verificar todas as cópias de um arquivo específico em todos os discos e, em seguida, sobrescrever a cópia em um disco com a soma de verificação incorreta usando a cópia em um disco correto?

    

Answer 1

Para responder às perguntas

1. O espelhamento manual do conteúdo ignoraria alguns possíveis problemas relacionados ao ECC, mas poderia apresentar outros. Ele também assume que os dados de origem não foram corrompidos por uma falha anterior.

2. Isso depende do hardware / software. Eu imagino que a maioria das implementações RAID1 não iria pegar bitrot, mas iria lidar com URE. As leituras de um dado geralmente são feitas apenas a partir de uma das unidades, não todas - o que permitiria leituras mais rápidas no geral.

3. Se o RAID1 suportar todos os 3 discos, sim, as leituras paralelas seriam mais rápidas com mais discos. AFAIK isso não é suportado no mdadm (por exemplo, soluções baseadas em raid de software Linux) já que o terceiro disco é tratado como um hot spare.

4. Se você direcionar seu local externo é uma questão de robustez e confiabilidade. Seria uma boa prática, mas não uma necessidade absoluta. Na minha opinião, os discos rígidos são peças consumíveis - ter o RAID permite a substituição de falhas sem ter reconstruções e aumenta a durabilidade. Isso seria realmente uma discussão de custo-benefício.

Answer 2

Vamos começar com as suposições:

If I understand the technology correctly, a Raid 1 (>2) configuration:

..cannot fail a rebuild, in so much as long as one drive is accessible so are the files.

Isso é verdade, mas não protege contra raios, roubo, inundações, etc. Assim, enquanto você reduz um risco, ainda precisa de backups fora do local.

..provides greater security relative to the drive count. It's basically an inversion of the ratio right? RAID5 on three disks provides 66% usable capacity and can handle 33% (1 drive) failure. Raid1 provides only 33% capacity but 66% failure (2 drives).

Isso pressupõe que a falha da unidade seja independente. No SAS isso pode ser o caso (a menos que a unidade falhe espetacularmente e também danifique outras unidades), mas não é o caso de PATA ou SATA. Normalmente, um disco suspenso significa que todas as unidades nesse controlador serão interrompidas. Você ainda terá seus dados, mas também terá seu tempo de inatividade.

..has an easier and more robust recovery mechanism. In dire conditions, the RAID need not be rebuilt to access the data.

Na maioria das vezes, a reconstrução não é um problema. Ninguém recria as matrizes RAID. Com os discos terabytes, é mais rápido substituir o disco, recriar os arrays com seus dados e restaurar a partir do backup.

De uma perspectiva de negócios, o objetivo médio do RAID é manter o sistema funcionando até as 17:00, e depois certificar-se de que o backup diário funciona, seguido por um novo disco, uma nova matriz RAID e uma restauração do backup. / p>

Drives can be migrated between different systems

Isso depende muito da implementação do RAID. Isso pode funcionar. Pode não.

Would a strategy of 'manually-mirroring' the content, as opposed to RAID1 copying-at-time-of-writing, avoid potential problems with non-ECC memory corruption? Since the job of writing to each disk would be a distinct process the same memory fault that occurs in one write would not theoretically occur in another ?

Se você tiver sorte. Mas o que impediria você de copiar com sucesso e sem problemas um arquivo corrigido?

Is there a RAID1 software/hardware designed to work with more than two drives, and can therefore handle traditionally un-raid1-like behaviours such as bit-rot, URE etc? With a traditional disk mirror setup if disk A reports a 0 and B reports a 1, you have no idea who flipped, but in a three or more disk solution could you not 'correct' the odd man out disk? A=0, B=1, C=0 thus B must have flipped?

Existe o 'sabor RAID1' chamado RAID5 ....

Falando sério, RAID3,4,5 e RAID6 vêm à mente. Não há necessidade de forçar um espelho para outra coisa.

At the same time, would such a RAID1 solution support parallel reads from more than two disks to provide accelerated read speeds? This is especially important since I imagine there are many businesses who read the same data many more times than they edit it.

O RAID 5 seria. E RAID 6 e ...

RAID is not a backup solution. So if you were to follow good practice and have between 2-3 storage locations, is it intended that only one of them is protected from drive failure via a RAID scheme or would you expect a second offsite location to also have multidisk redundancy?

Eu gostaria de um backup off-line . Um não acessível pela Internet e em um local físico diferente. Um segundo backup que é alcançável e atualizado diariamente também é bom. Mas principalmente em caso de incêndio e similares.

Backups casualmente seguros para off-line e diários para fita / disco / nuvem seriam uma boa adição a isso.

Is it the case that even a single drive, stored in a different location is thought to be protected from device failure because it's in an 'effective' mirror relationship with the drives in the other locations?

RAID não é backup. Uma parte de um RAID não é um backup adequado. Nem mesmo um disco de um espelho de vários discos. Dependendo da sua implementação de RAID, pode funcionar ou não. Um backup adequado sempre funciona. Mesmo depois de atualizar o software (por exemplo, drivers RAID).

If not, then does RAID1 not offer some redudancy for the lowest minimum drive count (2)?

Oferece redudancy para um setor não reable ou disco quebrado.

E isso é tudo o que normalmente é necessário. Suficiente redundância para manter as coisas funcionando até que você possa fazer uma manutenção de emergência.