Configuração de hardware do ZFS 100TB

Question

Recebemos uma cotação para a seguinte configuração do servidor:

• Intel Xeon E5-2609V2
• 2 x WD RE 2 TB SATA III
• 34 x WD RE 4 TB SAS II
• 32 GB de memória (ECC)
• LSI MegaRAID 9271-8i em massa, 8 x RAID de hardware interno SATA III / SAS II
• LSI CacheVault para a série 9266-9271

Nós adicionamos (diretamente) um JBOD para esse servidor, meio cheio com drives de 8 TB, podemos estender mais tarde. Eles sugeriram:

• LSI MegaRAID 9380-8e
• 22 x HGST Ultrastar 8TB Empresa He8, SAS III

Agora, isso foi baseado em nosso servidor anterior, que configuramos como um servidor ZFS e não tinha muito "prazer". (embora a configuração fosse a culpa eu acho)

Eu tenho algumas perguntas sobre essa configuração: - O argumento para tomar 2x2TB é, use-o como espelho para o sistema, desde quando um disco tem que ser substituído, o IO é lento durante a reconstrução. A velocidade não é o nosso problema real, o espaço é, também temos um backup online, que será usado apenas como plataforma de leitura (durante problemas). Será que 36 x 4 TB seria uma escolha melhor? (36 = 3 * 12 discos em um pool) - a memória de 32 GB é suficiente? (ZFS no linux, levando em consideração o JBOD na capacidade máxima 44 * 8 + 32 * 4) - Este é um controlador RAID, um JBOD / HBA (?) Seria uma escolha melhor? Se sim, que tipo de JBOD devo procurar? - Como eu configuraria melhor esse sistema para estar "pronto" para atualizar os próximos 22 discos no JBOD? (é um 44 disco JBOD, 22 slots são preenchidos)

Mais algumas informações com base nos comentários:

• tempo de atividade / disponibilidade: não nos importamos se ele for interrompido por alguns minutos, desde que isso não seja comum. não é necessário HA. Em essência, este será um backup ativo para o nosso servidor de armazenamento atual. Nós principalmente ler e escrever não é velocidade limitada. (de longe)
• A velocidade de leitura é importante, mas não queremos abrir mão de espaço para isso
• A velocidade de gravação não é tão importante, principalmente seus fluxos de máquina, enquanto arquivos grandes são gravados nela para que possam ser executados durante a noite.

Answer 1

Eu trabalharia com um profissional ou fornecedor da ZFS especializado em soluções baseadas em ZFS. Você está falando de 100 TB de dados e, nessa escala, há muitas oportunidades para estragar tudo.

O ZFS não é fácil de acertar; especialmente quando você incorpora alta disponibilidade e design para resiliência.

Eu não planejaria encher parcialmente gabinetes de armazenamento ou algo assim. A expansão dos arrays ZFS não é algo que você pode fazer facilmente com o RAIDZ1 / 2/3, e a expansão dos espelhos do ZFS pode deixar você com dados desequilibrados.

    

Answer 2

Não tenho certeza se usaria o ZFS no Linux para essa configuração, pois o ZoL continua sendo um "alvo em movimento".

Em relação à sua placa RAID, se ela puder ser configurada no JBOD, não há problema. No entanto, se ele funcionar apenas no modo RAID, eu o alteraria para um adaptador JBOD / HBA.

De qualquer forma, como sugerido por ewwhite, gostaria de perguntar a um verdor / consultor profissional da ZFS.