Eu tenho uma unidade de armazenamento com 2 backplanes. Um backplane contém 24 discos, um backplane contém 12 discos. Cada backplane é conectado independentemente a uma porta SFF-8087 (4 canais / 12Gbit) ao cartão de ataque.
Aqui é onde minha pergunta realmente entra. Pode ou com que facilidade um backplane pode ser sobrecarregado? Todos os discos da máquina são unidades WD RE4 WD1003FBYX (pretas) que possuem gravações médias a 115 MB / seg. E leitura média de 125 MB / seg.
Eu sei que as coisas variam de acordo com o raid ou sistema de arquivos que colocamos no topo, mas parece que um backplane de 24 discos com apenas um conector SFF-8087 deve ser capaz de sobrecarregar o barramento a um ponto que pode realmente Vá devagar?
Com base na minha matemática, se eu tivesse um RAID0 em todos os 24 discos e pedisse um arquivo grande, eu deveria, em teoria, obter 24 * 115 MB / s, o que significa 22.08 GBit / s de taxa de transferência total. p>
Ou eu estou confuso ou este backplane é terrivelmente projetado - pelo menos para um ambiente baseado em desempenho.
Estou pensando em mudar para um modelo em que cada unidade tenha seu próprio canal do backplane (e do novo cartão HBA ou RAID).
EDIT: mais detalhes
Nós usamos o Linux puro (centos), o Solaris aberto, o software RAID, o RAID de hardware, o EXT3 / 4, o ZFS.
Aqui estão alguns exemplos usando o bonnie ++
4 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
194MB/s 19% 92MB/s 11% 200MB/s 8% 310/sec
194MB/s 19% 93MB/s 11% 201MB/s 8% 312/sec
--------- ---- --------- ---- --------- ---- ---------
389MB/s 19% 186MB/s 11% 402MB/s 8% 311/sec
8 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
324MB/s 32% 164MB/s 19% 346MB/s 13% 466/sec
324MB/s 32% 164MB/s 19% 348MB/s 14% 465/sec
--------- ---- --------- ---- --------- ---- ---------
648MB/s 32% 328MB/s 19% 694MB/s 13% 465/sec
12 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
377MB/s 38% 191MB/s 22% 429MB/s 17% 537/sec
376MB/s 38% 191MB/s 22% 427MB/s 17% 546/sec
--------- ---- --------- ---- --------- ---- ---------
753MB/s 38% 382MB/s 22% 857MB/s 17% 541/sec
Agora 16 Disk RAID-0, fica interessante
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
359MB/s 34% 186MB/s 22% 407MB/s 18% 1397/sec
358MB/s 33% 186MB/s 22% 407MB/s 18% 1340/sec
--------- ---- --------- ---- --------- ---- ---------
717MB/s 33% 373MB/s 22% 814MB/s 18% 1368/sec
20 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
371MB/s 37% 188MB/s 22% 450MB/s 19% 775/sec
370MB/s 37% 188MB/s 22% 447MB/s 19% 797/sec
--------- ---- --------- ---- --------- ---- ---------
741MB/s 37% 376MB/s 22% 898MB/s 19% 786/sec
24 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
347MB/s 34% 193MB/s 22% 447MB/s 19% 907/sec
347MB/s 34% 192MB/s 23% 446MB/s 19% 933/sec
--------- ---- --------- ---- --------- ---- ---------
694MB/s 34% 386MB/s 22% 894MB/s 19% 920/sec
(alguém começando a ver o padrão aqui?): -)
28 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
358MB/s 35% 179MB/s 22% 417MB/s 18% 1105/sec
358MB/s 36% 179MB/s 22% 414MB/s 18% 1147/sec
--------- ---- --------- ---- --------- ---- ---------
717MB/s 35% 359MB/s 22% 832MB/s 18% 1126/sec
32 Disk RAID-0, ZFS
WRITE CPU RE-WRITE CPU READ CPU RND-SEEKS
354MB/s 35% 190MB/s 22% 420MB/s 18% 1519/sec
354MB/s 35% 190MB/s 22% 418MB/s 18% 1572/sec
--------- ---- --------- ---- --------- ---- ---------
708MB/s 35% 380MB/s 22% 838MB/s 18% 1545/sec
Mais detalhes:
Aqui está a unidade exata:
Sem saber exatamente o hardware que você está usando, o máximo que você pode obter através de dois SAS SFF-8087 é de 24Gbps ou 3 GBps; mas muitas combinações de controladores-expansores não usam todos os 4 canais no SFF-8087 corretamente e você acaba obtendo aproximadamente um único link (0.75GBps).
Considerando seus números de desempenho, eu arriscaria adivinhar que o último é o caso.
Eu estava pensando em obter essa mesma unidade, mas agora, considerando o desempenho que você está recebendo, é melhor pensar duas vezes.
Por outro lado, qual controlador RAID você está usando? Porque eu li em algum outro lugar que esses backplanes LSI não funcionam muito bem com placas RAID não-LSI.
Em relação ao desempenho teórico: Para o backplane de 24 drives, você deve ter (SAS2) 6 gbit x 4 = 24 Gbit, o que é 1 Gbit por disco. Usando a mesma matemática, você deve obter 2 Gbit por disco com o outro backplane. Agora, 1Gbit por disco significa ... 80 MB / s? Então, 2Gbit seria mais que suficiente para o disco se tornar o gargalo. Então:
(80 MB / s * 24) + (125 MB / s * 12) = 3420 MB / s
Eu sei que isso é apenas teórico e ninguém esperaria esses números no mundo real ... mas você está recebendo ~ 10%. É melhor você verificar esse problema com Supermicro ou LSI porque é muito estranho.
As velocidades médias de disco que você cita são provavelmente para operações altamente sequenciais nas melhores condições. Se sua carga de trabalho for aleatória, fale muito pior (quero dizer isso).
Os cabos SFF-8087 têm apenas 4 canais e você pode basicamente sobrecarregá-los com leitura / gravação de 4 discos na velocidade máxima. A questão é que você geralmente não faz isso o tempo todo e é por isso que o SuperMicro usa os expansores LSI nas versões E1 / E2 de seus chassis.
Se você precisar de desempenho máximo o tempo todo, precisará conectar cada disco a uma única porta SAS em seus controladores. A maioria dos controladores tem 4, 8 ou 16 portas, então você tem que fazer as contas e adicionar mais controladores para suportar 36 discos. O chassi SuperMicro na versão TQ permite que você tenha esse tipo de acesso aos seus discos.
O desempenho do IOPS bruto varia dependendo de qual dispositivo você está se concentrando. Normalmente, os HBAs LSI têm > 250k de especificações de IOPS, enquanto os discos SATA fazem 100-120, o SAS um pouco mais e a média de SSDs da Intel 3000 IOPS (altamente dependente do tamanho do seu bloco).
Você tem que entender a carga de trabalho que estará jogando nessa máquina, caso contrário, você superprovisionará os recursos errados. Concentrar-se na velocidade seqüencial bruta com cada disco tendo seu próprio canal para o controlador não ajudará se sua carga de trabalho for altamente aleatória e o que você precisa é de mais IOPS do disco / SSDs.
Tags raid storage network-storage