Qual é a melhor configuração do ZFS para fins de registro?

1

Estou planejando o hardware que será usado para fins de gerenciamento de log. O software que planejamos executar sobre o hardware suporta camadas e o plano é seguir três níveis da seguinte maneira:

  1. a camada será SSD, será criada a partir do disco conectado diretamente ao chassi do servidor e será usada nos primeiros 7 dias de dados
  2. a camada será discos giratórios, será criada a partir de discos conectados diretamente ao chassi do servidor e será usada nos primeiros 180 dias de dados.
  3. a camada será discos giratórios, será criada a partir de discos localizados em um armazenamento de conexão direta SAS separado.

O SO subjacente é o Ubuntu Server 16.04.4 e infelizmente não posso afetar essa decisão.

O chassi do servidor que estamos planejando usar é o Dell R740xd e seu layout seria o seguinte:

  • 2 x 300 GB de HDD SAS de 15 K
  • 2 x SSD SAS de 1,6 TB
  • 18 x HDD SAS de 2,4 TB 10K

Para o sistema operacional e o aplicativo, pretendo usar um zpool que consista em um vdev espelho criado a partir dos dois discos de 300 GB.

Para a primeira camada de armazenamento, pretendo usar um zpool que consista em um vdev espelho criado a partir dos dois discos SSD.

Para a segunda camada, pretendo usar um zpool que consiste em três vdevs RAID-Z2 de 6 unidades.

Os dois slots livres me deixam com algumas opções, caso eu queira alterar o que quero fazer com o zpool do OS + Application e o zpool da primeira camada.

Além disso, com o zpool 3x6 (2ª camada), acredito que alcançaria o melhor resultado possível, levando em consideração o armazenamento disponível e a tolerância a falhas.

No entanto, as perguntas realmente surgem com o armazenamento externo conectado diretamente. Apenas o primeiro nível (SSDs) é atingido com gravações constantes de novos logs chegando, e os níveis 2 e 3 vêem somente logs transferidos para dentro e fora uma vez por dia quando o aplicativo verifica logs que excedem o conjunto de retenção para o nível no qual eles residem atualmente. Discos maiores - digamos, de 4 TB e até maiores - seriam um problema se o DAS fosse construído a partir de vdevs RAID-Z2? Ou seria melhor ir com o espelho vdevs? Eu entendi que o resilvering seria menos complicado com o espelhamento comparado ao RAIDZ-2.

Para o DAS, minhas opções parecem ser o Dell MD1420 ou o MD1400. Este último me dará mais opções com discos maiores (e mais lentos / mais baratos), enquanto o primeiro limitaria minhas escolhas a discos de 2,5 ". Eu acho que em teoria eu também poderia ter a opção de com 3,5" discos no próprio chassi do servidor se existe uma opção para onde discos de 12x3,5 "discos + 4x2,5" podem ser instalados. Mais uma vez, o segundo nível (com os SSDs sendo o primeiro nível) não veria gravações contínuas nem leituras, mas ainda veria leituras com bastante frequência durante as horas de trabalho, quando registros com mais de 7 dias precisam ser recuperados. No entanto, eu realmente não possuo o conhecimento suficiente para tomar a decisão se algo mais barato do que 10K seria suficiente para esse segundo nível.

    
por treiman 09.10.2018 / 22:36

1 resposta

0

Would larger disks - say 4TB and even bigger - disks be an issue if the DAS would be built from RAID-Z2 vdevs? Or would it be better to go with mirror vdevs?

A única razão para usar o espelho além do tempo de resilvering seria IOPS, pois eles devem ser dimensionados com a quantidade de discos na configuração de espelhamento e são iguais a um único disco no RAIDZ.

Eu duvido que isso importe aqui. Você fala sobre "recuperação", ou seja, copiar os dados, portanto, é principalmente uma carga de trabalho de leitura sequencial. Algumas centenas de milissegundos de tempo de espera - no pior dos casos, quando centenas de acessos paralelos estão esperando - ainda devem ser bons o suficiente. Não é um servidor de banco de dados, é mais um NAS.

No entanto, se você tiver o hardware, execute apenas alguns testes.

Além disso, se forem apenas arquivos de log, certifique-se de ativar a compactação e, talvez, considere aumentar o tamanho do arquivo para 1 mb para obter uma melhor compactação se tiver leituras e gravações sequenciais.

    
por 22.10.2018 / 01:22