Adicionando o armazenamento de 60 TB a um servidor SLES 10

Question

Eu tenho que adicionar algum armazenamento \ staging de arquivamento a um servidor SLES 10. O requisito é apresentar volumes razoavelmente grandes (9-20 TB a cada aprox, 60TB ou mais no total) que serão usados para armazenar dados de arquivo (literalmente, isso é para uma biblioteca) incluindo arquivos de imagem grandes (150Meg Tiff na maior parte) e grandes tarballs. Os dados serão predominantemente tendenciosos para ler IO, certamente > 95% e provavelmente acima de 99%.

O armazenamento já foi adquirido - um array Dell MD3000 SAS encadeado com 2 MD1000 totalmente preenchidos com unidades SATA de 2TB 7200 RPM, 45 unidades no total. A pilha de matrizes é conectada usando dois adaptadores SAS externos de porta dupla, ou seja, há quatro caminhos para a pilha.

Minha intenção é configurá-los como um conjunto de 4 volumes baseados em 4 grupos de RAID com um hot spare por array. Todos os grupos serão RAID 6 com 7 ou 14 unidades, e cada grupo RAID será apresentado como um único LUN usando toda a capacidade desse grupo. No lado do SLES, eles precisam ser formatados como volumes XFS.

Tenho experiência limitada com SLES (e Linux em geral) e estou procurando algumas recomendações sobre isso, especificamente:

1. Há alguma coisa específica sobre a qual ter cuidado ao configurar volumes XFS desse tamanho no SLES 10, ou seja, as configurações padrão serão OK, considerando o perfil de E / S?
2. Qual é a melhor maneira de inicializar \ partition \ format estes? Eu usei o Parted para definir um rótulo de Disco e o Gerenciador de Partições YAST (aceitando todos os padrões) para criar e formatar o volume XFS para meu teste inicial.
3. Como configuro os múltiplos caminhos? Quando eu apresento um volume de teste inicial, ele aparece como quatro dispositivos separados (/ dev / sdl, / dev / sdm, / dev / sdn e / dev / sdn). O que eu faço para trabalhar com isso como um único volume?
4. No meu teste inicial, estou vendo as taxas de transferência de um volume existente de EMC Clariion SAN em torno de 30Meg / seg. Isso é muito menor do que eu esperaria, mesmo respondendo pela penalidade de gravação do RAID 6 que eu esperava ver algo no estádio de 70-100Meg / seg.
5. Como posso saber se está tudo bem - onde devo procurar erros \ avisos, etc? O editor de partições YAST leva muito tempo para ser lançado, por exemplo, e eu gostaria de entender o porquê.
6. Você particionaria isso de forma diferente e \ ou usaria um sistema de arquivos diferente e, em caso afirmativo, por quê?

O servidor é um Dell 2950 - eu não chequei as especificações detalhadas, mas o topo mostra a utilização pairando no mínimo de um dígito.

    

Answer 1

No meu trabalho anterior, tivemos um problema semelhante. Nós estávamos fazendo a produção para planetários e cada quadro era de 64 MegaPixels. Muitas imagens grandes. Estes seriam processados para cada teatro em uma operação de leitura muito agressiva em um cluster de computadores.

O servidor, nesse caso, tinha uma configuração de armazenamento semelhante. Múltiplos arranjos RAID externos conectados diretamente. Cada um deles estava em volumes RAID6 expostos ao host e adicionados a um VG (Grupo de Volume) sob o LVM (Logical Volume Manager). Cada show / produção teria então o seu próprio LV (Logical Volume), formato XFS, que cresceríamos com o projeto conforme necessário.

Se os seus conjuntos de dados são bastante estáticos ou crescem de uma forma previsível como esta, então esta abordagem deve funcionar bem para você. Mas tenha cuidado, essa abordagem tem um lado negativo. Você acaba tendo que micro-gerenciar o LV em seu armazenamento. Alguns administradores preferem assim, mas outros tentariam evitá-lo. Mas isso permite que você desenvolva cada sistema de arquivos LV e XFS à medida que o conjunto de dados cresce. Mantendo seus volumes XFS o menor possível para que você não fique preso a um fsck que leva anos para ser concluído. E pode agir como controle de danos se um sistema de arquivos for para o sul.

Aviso: se eu fosse configurar isso hoje, usaria o OpenSolaris e o ZFS. Principalmente b / c evita os problemas de micro gerenciamento e é um gerenciador de volume / sistema de arquivos superior. Então você pode querer dar uma olhada nisso também.

    

Answer 2

Eu estaria muito mais incluído para comprar mais discos e RAID 10 para eles.

Eu tive problemas terríveis com centenas de discos de 1TB FATA (fiber-attached SATA) que compramos há um tempo, são £ 1k cada e eu estou perdendo 5% por mês! Basicamente, eles simplesmente não são projetados para um ciclo de trabalho 24x7 e que você pode ter os mesmos problemas é por isso que eu recomendo R10.

O RAID6 é um passo na direção certa, mas se você tiver a habilidade eu deixaria pelo menos um disco de lado como um hot-spare - se um disco morre em qualquer lugar em seu array, ele entra e sai enquanto aguarda para você substituir o disco com falha. Sobre esse assunto, certifique-se de ter pelo menos 2 ou 3 discos sobressalentes no local prontos para serem substituídos e também certifique-se de ter toda a configuração de alerta para avisá-lo quando houver um problema 24x7.

Quanto ao desempenho, bem esses discos de 2GB não são tão desleixados para um disco de 7.2k e o SAS pode ser muito rápido, então eu esperaria os 70MBps para leituras seqüenciais que você mencionou - obviamente, randoms e write serão bem baixos. / p>

Desculpe se pareço negativo, só lutei com armazenamento por anos e só consigo dormir facilmente com sistemas de disco corporativos - acabei de puxar muitos turnos de 48/72 horas para consertar equipamentos mais baratos.