Conselhos para a criação de discos de produção 140 (420 TB) ZFS zpool [closed]

Question

Eu fui encarregado de construir um zpool grande para um sistema de gravação de dados. Usando o ZFS no Linux (0.6.4.2), no CentOS 6.5.

Especificações de hardware:

• DL380 Gen8
• 80 GB de RAM
• 2x HP HBA H221
• 2x HP D6000, cada um com discos SAS 70x 3TB

Existem algumas circunstâncias especiais:

• O espelhamento está fora de questão, seria falta de armazenamento. A quantidade total necessária de TB necessária é praticamente definida. Adicionar unidades D6000 não é uma opção.
• Haverá dois desses zpools no datacenter, usando a redundância do nível de aplicativo. Assim, a perda de todo o conjunto é problemática, mas não crítica. Todos os dados serão copiados para a fita também.
• O uso de cartões HP Accelerator não é uma opção no momento (muito caro)
• O uso de placas PCIe NVMe não é uma opção, devido a ser restrito a Kernel 2.6.32.

Requisitos de desempenho:

• O desempenho de escrita não é crítico, há basicamente um fluxo constante de escrita, talvez 4 MB / s.
• O desempenho de leitura é útil, mas não há realmente nenhum conjunto de dados ativos, muito aleatório, cujos dados poderiam ou seriam lidos, dependendo da necessidade.
• A indexação é muito importante. Haverá cerca de 1,5 milhões de arquivos quando o zpool estiver totalmente carregado, fazendo com que uma lista desses arquivos seja o mais rápida possível. O ARC ajuda aqui, muita RAM?

Meu plano é construir o zpool da seguinte forma:

• 14 VDEV de 10 discos, RaidZ2.
• Compressão em
• Autoreplace on
• atime off

Eu realmente não tenho boas opções para SLOG e L2ARC. Usar o HP SSD não é realmente uma opção, já que eles precisariam ser executados como um único dispositivo no hardware Raid0. Pelo que li neste site, isso está causando problemas.

Minhas perguntas:

1. Mais RAM seria legal, claro, mas eu realmente preciso disso?
2. Devo esperar problemas importantes quando o zpool estiver carregado com 95% + dados. Menor desempenho é OK, conforme declarado, os requisitos de desempenho são bastante baixos.
3. Quaisquer outros layouts do vdev recomendados, sem diminuir o armazenamento disponível.
4. Qualquer ajuste especial do ZFS que eu deveria considerar? Pelo menos estou considerando aumentar a parcela de metadados armazenados no ARC. Para ajudar na velocidade de indexação, faz sentido?
5. Devo esperar algum problema que anteceda o uso do dispositivo L2ARC e SLOG?
6. Quaisquer outras dicas para fazer o trabalho acima, muito apreciadas!

Answer 1

Mais RAM pode ser uma boa opção. Se o desempenho de leitura não for crítico, mas as operações de metadados forem: Eu recomendaria definir "primarycache" como "metadados" para seus sistemas de arquivos. Se você tiver SSDs para L2ARC, também poderá optar por usar a memória (ARC) para armazenar em cache "all" e secondarycache (L2ARC) como "metadados". Por favor, note que o contrário não funciona (o L2ARC é preenchido pelo ARC).

Should I expect major issues once the zpool is loaded with 95%+ data

Sim e não. Isso dependeria da plataforma / versão. Versões mais antigas têm uma enorme redução de velocidade a 80% da capacidade. Para corrigir isso: Faça 100% de certeza de que seus slabtables estão armazenados na memória! (Solaris: metaslab_debug = 1). Por padrão, as versões mais antigas armazenam apenas 2 lajes por disco na memória. Isso irá matar o desempenho. Eu acho que o FreeBSD e versões mais recentes fazem isso por padrão. Você precisa de alguma memória no entanto (especialmente com muitos discos).

Eu recomendaria usar um dispositivo SLOG (ZIL) de qualquer forma. Isso garantirá que suas gravações sejam confirmadas imediatamente, mas gravadas em discos lentos a cada x segundos. Isso é útil, porque você só precisa fazer 1 executar sobre o prato para várias gravações. Isso deixa mais tempo em disco para leituras, etc.

Eu não recomendo usar o ZFS no Linux para ambientes tão grandes. O sistema de alocação de memória ainda não é 100% perfeito, causando a luta pela memória do ZFS e do Linux.