Configuração de RAID para grandes NAS

Question

Estou pensando em criar uma caixa NAS de disco de 24 TB, mas não sei qual é a melhor configuração de unidade. Eu estou olhando para usar o controlador areca ARC-1280ML-2G, e pendurado todas as 24 unidades fora dele.

Gostaria que tudo fosse montado como um volume, devido ao tipo de dados que estamos armazenando nele. Uma idéia maluca que tivemos foi configurar 6 volumes RAID 5 de 4 discos, depois fazer o software RAID 5 nesses 6 volumes. Isso significaria que qualquer volume poderia morrer em nós e ainda não perderíamos dados.

Devo observar que este é um projeto de P & D, temos um aplicativo futuro em que precisaremos de dezenas de terabytes de armazenamento para ser rápido e altamente disponível. Mas para a fase inicial de P & D, podemos aceitar algum risco.

Qual é a melhor solução para esse tipo de configuração? Com 24 discos de 1 TB, é provável que mais de um falhará ao mesmo tempo (ou dentro do tempo necessário para reconstruir o volume após uma primeira falha), por isso estou tendo problemas para encontrar uma boa solução.

    

Answer 1

Já existe um nível de RAID para o que você deseja; é chamado RAID 10.

O MTBF para unidades de nível profissional e de consumidor aumentou em uma ordem de magnitude nos últimos anos, a taxa de erro incorrigível permaneceu relativamente constante. Essa taxa é estimada em 10 ^ 14 bits, portanto, um bit por 12 terabytes de leitura, para unidades SATA de consumidor, fonte .

Assim, para cada varredura de seus passes de sua unidade de 24Tb, você encontrará estatisticamente pelo menos dois erros de bit único. Cada um desses erros irá disparar uma reconstrução do RAID5 e, pior, durante a reconstrução, um segundo erro causará uma falha dupla.

    

Answer 2

Este é precisamente o meu trabalho diário ... construindo servidores de armazenamento Linux.

• O cartão Areca está OK. Você pode usá-lo no RAID-6, ele fornecerá segurança razoável. Compre também a unidade de backup de bateria opcional .
• Use discos de nível empresarial , não unidades de desktop. Você gastará mais 400 dólares em seu servidor, mas vale a pena. Compre duas unidades de reposição. Não mexa com isso, use discos do mesmo modelo.
• Para o sistema de arquivos, use XFS . Não está brincando, ext3 e amigos simplesmente não estarão à altura do trabalho para sistemas de arquivos de 16TB +. Mesmo em caso de falha grave, o xfs_repair será bastante rápido em um volume de 20 TB (15 minutos, não mais).
• De preferência, use o LVM2 , ele facilitará o gerenciamento de armazenamento, mesmo que você não planeje modificá-lo muito.
• instale a ferramenta de gerenciamento areca e escreva um cron job para enviar um e-mail diário com uma verificação de integridade.
• Não esqueça de backup . O RAID não é um backup; Se alguém simplesmente excluir um arquivo importante, você não poderá recuperar sem um backup adequado. Eu pessoalmente uso rdiff-backup para salvar todos os dados importantes em um servidor dedicado com um histórico de um mês; você também pode criar dois volumes RAID no seu servidor de arquivos e fazer backup de um no outro.

Answer 3

uau, RAID5 sobre RAID5? Quer discutir problemas de desempenho? Você terá toneladas . O host que você pendurará terá paridade de computação de gatinhos, gravando essa paridade em 3 unidades e, em seguida, calculando a paridade dessa paridade e gravando-a na quarta unidade desse conjunto. UAU!

Vamos falar sobre o RAID10. É essencialmente o RAID 1, mas você divide seus discos ao meio e espelha isso. É tolerante a falhas, pois você pode perder duas unidades e ainda ficar bem, além do desempenho ser excepcional.

Se você não precisa de uma quantidade insana de espaço, mas você tem um array de 24 TB por aí sem nada melhor para fazer, mas absolutamente positivo tem que ser para cima, então você pode considerar o RAID60. É essencialmente RAID6 usando conjuntos espelhados de unidades. Você perderá cerca de metade de suas unidades e o desempenho será ruim, mas você terá quase certeza de que os dados estarão lá.

Realmente, eu iria com o RAID10. Ele funciona bem e funciona bem. Eu sigo a opinião de Evan de que você provavelmente não deveria criar RAIDs gigantescos de muitos discos, porque, como ele diz, coisas como fsck e chkdsk levarão uma eternidade, e mais importante em minha mente, porque a probabilidade estatística de um erro de leitura sobe como o tamanho de disco individual. Eu recomendaria 7-10 discos por conjunto. Você pode criar 3 volumes RAID muito decentemente dimensionados com esse número de eixos.

O que você escolher, lembre-se de deixar alguns discos em hot spares, para que você possa começar a reconstruir imediatamente, em vez de ter o array esperando por você para substituí-los. Assim que um disco morre, o relógio começa a passar para outro.

    

Answer 4

Por que não o RAID 1 + 0? Tudo é tratado no nível do controlador ...

    

Answer 5

Eu sei que você disse "R & D", mas você também disse "altamente disponível". Eu questionaria as "economias" de uma solução DIY versus a compra de equipamentos SAN disponíveis no mercado para fazer isso. Quando as coisas correm mal com a sua solução DIY, você estará na posição nada invejável de não ter ninguém para entrar em contato para obter ajuda. O que o tempo de inatividade custa a você por hora? Você pode reduzir o custo de alguns equipamentos de SAN de nível médio rapidamente, em despesas com tempo de inatividade, ignorando a despesa associada à perda de dados por fora.

Independentemente do que você faz sobre o disco subjacente, eu não criaria um único sistema de arquivos tão grande.

A corrupção do sistema de arquivos é uma possibilidade real (problema do controlador RAID, bugs do sistema operacional, etc). Em um volume tão grande, uma verificação do sistema de arquivos levará uma eternidade. Eu recomendo usar vários volumes que podem ser logicamente combinados para aparecer como um único filesytem (através de vários meios - você não mencionou o sistema operacional, então eu não posso lhe dar idéias específicas). Se você tiver alguma corrupção no sistema de arquivos, perderá parte do volume lógico, mas ainda estará "para cima".

Como exemplo: Em um mundo Windows, a execução do CHKDSK em um volume NTFS de 20 TB preenchido com arquivos será LENTO . Nesse tipo de ambiente, eu criaria vários volumes NTFS menores e os combinaria logicamente em um único namespace com DFS.

    

Answer 6

wazoox, as respostas são boas Eu não tenho o representante para lhe dar mais pontos positivos, mas eu adicionaria o seguinte.

RAID 6 ou pelo menos 2 discos de paridade ao vivo por 10 discos, 16 no máximo, isto é, se você puder levar cerca de um dia em que o desempenho será afetado pela reconstrução de raid. Se você não pode viver com a degradação, então terá que ser faixas espelhadas.

Se você estiver indo para a rota do Linux, eu usaria uma placa de ataque de hardware (com backup de bateria) ou teria um controlador RAID no compartimento do disco. Eu concordo que o xfs é o sistema de arquivos de escolha no Linux, mas esteja ciente de que os sistemas de arquivos de cerca de 50 TB no xfs consomem mais de 16 GB de RAM se você precisar rodar o xfs_check.

Eu consideraria seriamente uma boa NAS box como a NetApp, já que eles são muito menos trabalhosos a longo prazo, isso depende de quanto seu tempo de administrador de armazenamento vale para a empresa.

Fazer com que o nfs / samba tenha um bom desempenho é um pouco obscuro, você vai usar 10GB de ether ou apenas agregações de 1GB / seg? (Não receba cartões Broadcomm, especialmente os de 10 GB).

O LVM2 é simples, mas não use o snap shotting, pois não é rápido.

Lembre-se de que os backups disso levarão algum tempo.

Teste a forma como o sistema pode falhar antes de entrar em produção e registre onde você e seus colegas podem encontrar os documentos quando tudo der errado.

    

Answer 7

Depende da sua relação de leitura / gravação. Usamos muitos gabinetes de unidade SAS externos HP MSA70 de 25 discos e sempre os criamos como um array RAID6 único, já que nossa proporção de leitura para gravação é de 99%: 1%, portanto não nos importamos que o R6 seja o mais lento na gravação ( ainda bem rápido, não tão bom comparado com os outros). Desta forma, nós temos 23 discos de dados disponíveis para nós, temos muito bons, como em benefícios de leitura de banda aleatória e de leitura geral, e podemos sobreviver a duas falhas de disco.

Como um guia aproximado, um array RAID5 não deve ter mais do que 14 discos em um array, enquanto um RAID6 deve estar bem com até 54 discos - obviamente quanto maior o array, maior o abismo entre ler e escrever desempenho e as reconstruções mais lentas serão necessárias, mas pode ser um bom compromisso.

    

Answer 8

Eu adicionaria dois discos em espera para começar.

O RAID 5 ou 6 está OK para leituras aleatórias ou grandes leituras e gravações sequenciais. Se você pretende obter muitas pequenas gravações, use o RAID 10, já que o RAID 5+ recebe 4 x em pequenas gravações.

Se você for ativar o cache de gravação, lembre-se de fazer o backup com uma bateria.