Diretrizes para o número máximo de discos em um conjunto RAID?

Question

Em qualquer um dos níveis de RAID que usam striping, aumentar o número de discos físicos geralmente aumenta o desempenho, mas também aumenta a chance de falha de qualquer disco do conjunto. Eu tenho essa idéia de que eu não deveria usar mais do que cerca de 6-8 discos em um determinado conjunto RAID, mas isso é mais apenas um conhecimento passado e não um fato difícil da experiência. Alguém pode me dar boas regras com as razões por trás deles para o número máximo de discos em um conjunto?

    

Answer 1

O número máximo recomendado de discos em um sistema RAID varia muito. Depende de uma variedade de coisas:

• A tecnologia de disco SATA tolera matrizes menores que o SAS / FC, mas isso está mudando.
• Limites do controlador RAID O próprio controlador RAID pode ter valores máximos fundamentais. Se for baseado em SCSI e cada disco visível for um LUN, a regra 7/14 será verdadeira. Se for baseado em FibreChannel, pode ter até 120 ou mais discos visíveis.
• Processador RAID Controller Se você usar qualquer tipo de RAID de paridade, a CPU na placa RAID será o limitador de quão rápido você pode gravar dados. Haverá um máximo fundamental para o cartão. Você verá quando uma unidade falhar em um RAID5 / 6 LUN, pois a queda de desempenho afetará todos os LUNs associados à placa RAID.
• Largura de banda do barramento O U320 SCSI tem seus próprios limites, assim como o FibreChannel. Para SCSI, manter os membros RAID em canais diferentes pode melhorar o paralelismo e melhorar o desempenho, se o controlador o suportar.

Para o RAID baseado em SATA, você não quer ter mais que cerca de 6,5 TB de disco bruto se estiver usando o RAID5. Vá além do que e o RAID6 é uma ideia muito melhor. Isso ocorre devido à taxa de erro de leitura não recuperável. Se o tamanho da matriz for muito grande, as chances de um erro de leitura não recuperável ocorrer durante a reconstrução da matriz após uma perda aumentam cada vez mais. Se isso acontecer, é muito ruim. Ter o RAID6 reduz bastante essa exposição. No entanto, os drives SATA têm melhorado em qualidade ultimamente, então isso pode não ser verdade por muito mais tempo.

O número de fusos em uma matriz realmente não me preocupa muito, já que é bem simples conseguir 6.5TB com unidades de 500GB no U320. Se fizer isso, seria uma boa ideia colocar metade das unidades em um canal e metade no outro apenas para reduzir a contenção de E / S no lado do barramento. As velocidades SATA-2 são tais que até mesmo dois discos transferidos na taxa máxima podem saturar um barramento / canal.

Os discos SAS têm uma taxa de MTBF mais baixa do que a SATA (mais uma vez, isso está começando a mudar), portanto as regras são menos firmes lá.

Existem matrizes FC que usam unidades SATA internamente. Os controladores RAID são muito sofisticados, o que confunde as regras práticas. Por exemplo, a linha de matrizes do HP EVA agrupa discos em 'grupos de discos' nos quais os LUNs são dispostos. Os controladores propositalmente colocam blocos para os LUNs em locais não sequenciais e executam o nivelamento de carga nos blocos nos bastidores para minimizar o hot-spotting. O que é um longo caminho para dizer que eles fazem muito trabalho pesado com você em relação a E / S de múltiplos canais, fusos envolvidos em um LUN e lidando com redundância.

Resumindo, as taxas de falhas dos discos não orientam as regras de quantos spindles estão em um grupo de RAID, mas sim o desempenho. Na maior parte.

    

Answer 2

Se você está procurando por desempenho, é importante entender a interconexão que você está usando para anexar as unidades à matriz. Para SATA ou IDE, você estará olhando para 1 ou 2 por canal, respecitvely (supondo que você esteja usando um controlador com canais independentes). Para SCSI, isso depende muito da topologia de barramento. O Early SCSI tinha um limite de dispositivo de 7 IDs de dispositivo por cadeia (também conhecido por controlador), um dos quais tinha que ser o próprio controlador, portanto, você teria 6 dispositivos por cadeia SCSI. Novas tecnologias SCSI permitem quase o dobro desse número, então você estaria olhando para 12+. A chave aqui é que a taxa de transferência combinada de todas as unidades não pode exceder a capacidade da interconexão , caso contrário, suas unidades estarão "ociosas" quando estiverem no desempenho máximo.

Tenha em mente que as unidades não são o único elo fraco aqui; cada interconexão sem redundância resulta em um único ponto de falha. Se você não acredite em mim, configure uma matriz RAID 5 em um controlador SCSI de cadeia única e, em seguida, desative o controlador. Você ainda pode acessar seus dados? Sim, foi o que eu pensei.

Hoje, as coisas mudaram um pouquinho. As unidades não avançaram muito em termos de desempenho, mas o avanço visto é significativo o suficiente para que o desempenho não seja um problema, a menos que você esteja trabalhando com "farms de drive", caso em que você está falando de uma infraestrutura totalmente diferente e esta resposta / conversa é discutível. O que você provavelmente se preocupará mais é a redundância de dados. O RAID 5 foi bom em seu apogeu devido a vários fatores, mas esses fatores mudaram. Acho que você verá que o RAID 10 pode ser mais do seu agrado, pois fornecerá redundância adicional contra falhas de unidade, aumentando o desempenho de leitura. O desempenho de gravação sofrerá um pouco, mas isso pode ser atenuado por meio de um aumento nos canais ativos. Eu tomaria uma configuração RAID 10 de 4 unidades em uma configuração de 5 unidades RAID 5 em qualquer dia, porque a configuração RAID 10 pode sobreviver a uma falha (específica de) de duas unidades, enquanto a matriz RAID 5 simplesmente rolaria e morreria com uma falha de duas unidades. Além de fornecer redundância um pouco melhor, você também pode atenuar a situação de "controlador como ponto único de falha" dividindo o espelho em duas partes iguais, com cada controlador manipulando apenas a faixa. No caso de falha do controlador, sua faixa não será perdida, apenas o efeito de espelho.

Claro, isso pode ser completamente errado para suas circunstâncias também. Você precisará procurar nas compensações envolvidas entre velocidade, capacidade e redundância. Como a velha piada da engenharia, "melhor - mais barato - mais rápido, escolha qualquer dois", você verá que pode viver com uma configuração que combina com você, mesmo se não é o ideal.

    

Answer 3

RAID 5 Eu diria 0 drives por array. Veja o link ou asserções semelhantes com qualquer número de outras fontes.

RAID 6 Eu diria 5 unidades + 1 para cada hot spare por array. Qualquer menos e você pode muito bem fazer o RAID 10, mais e você está empurrando o fator de risco e deve ir para o RAID 10.

O RAID 10 vai tão alto quanto você gosta.

    

Answer 4

Eu uso 7 como um número máximo "mágico". Para mim, é um bom compromisso entre espaço perdido para redundância (neste caso, ~ 14%) e tempo para reconstruir (mesmo se o LUN estiver disponível durante a reconstrução) ou aumentar o tamanho e o MTBF.

Obviamente, isso funcionou muito bem para mim ao trabalhar com gabinetes de 14 compartimentos SAN. Dois dos nossos clientes tinham compartimentos de 10 discos, e o número mágico 7 foi reduzido para 5.

Tudo em tudo, 5-7 funcionou para mim. Desculpe, nenhum dado científico meu, apenas experimente com sistemas RAID desde 2001.

    

Answer 5

O máximo efetivo é a largura de banda do controlador RAID.

Digamos que o disco seja lido no máximo a 70 MB / s. No pico de carga, você não pode coletar dados com rapidez suficiente. Para um servidor de arquivos ocupado (RAID 5) ou servidor de banco de dados (RAID 10), você pode acertar isso rapidamente.

SATA-2 é uma especificação de interface de 300MB / S, o SCSI Ultra 320 seria mais consistente. Você está falando de 6 a 10 discos porque não atingirá o pico com muita frequência.

    

Answer 6

O limite de discos em um RAID costumava ser determinado pelo número de dispositivos em um barramento SCSI. Até 8 ou 16 dispositivos podem ser conectados a um único barramento e o controlador é contado como um único dispositivo - então eram 7 ou 15 discos.

Portanto, um monte de RAIDs eram 7 discos (um era um hot spare), o que significava que restavam 6 discos - ou 14 discos com 1 hot spare.

Portanto, a melhor coisa sobre discos em um grupo de RAID é provavelmente quantas IOPS você precisa.

Por exemplo, um disco SCSI de 10k RPM pode funcionar em torno de 200 IOPS - se você tivesse 7 deles em um RAID 5 - perderia 1 disco para paridade, mas teria 6 discos para leitura / gravação e um máximo teórico de 1200 IOPS - se precisar de mais IOPS - adicione mais discos (200 IOPS por disco).

E os discos mais rápidos 15k RPM SAS podem ir até 250 IOPS, etc.

E sempre há SSD (30.000 IOPS por disco) e eles são invasivos (embora sejam muito caros).

E eu acho que o SAS tem um valor máximo para o número de dispositivos - como 16.000 unidades

    

Answer 7

Com o RAID6 e o SATA, tive um bom sucesso com 11 discos ... E um hot-spare (alguns controladores ruins precisarão de duas hot-spares para fazer uma reconstrução do RAID6). Isso é conveniente, pois muitos JBOD vêm em grupos de 12 discos, como o HP MSA60.

    

Answer 8

Até que você atinja a velocidade máxima do barramento no ponto mais estreito da cadeia (cartão de ataque, links), isso pode fazer sentido. A mesma coisa quando você adiciona muitas placas de rede 1GbE ao seu barramento PCI, não faz sentido.