RAID - Usando vários tamanhos de faixa

Question

Em uma grande loja on-line (1 PB), se você tiver muitos arquivos pequenos (32Kb <), imagens (256KB-5MB) e vídeos (> 100MB), é possível usar vários discos com tamanhos de faixas diferentes? / p>

Digamos que 10 discos com tamanho de faixa de 16 KB, 20 discos com 256 KB, 30 discos com 1 MB. Quando você está fazendo o upload de um vídeo, ele é enviado para discos com faixas de 1MB ou quando você faz upload de pequenos uploads de arquivos ip para discos com faixas de 16KB.

o tamanho da pequena faixa causa muitos mandris de arquivos grandes e as larguras grandes são ineficazes se você tiver arquivos pequenos < 32kb, pode aumentar o desempenho de leitura / gravação se usar tamanhos de faixa diferentes.

    

Answer 1

Embora a resposta à sua pergunta seja clara e simples:

Sim você pode criar discos virtuais diferentes em seu controlador e definir as propriedades diferentes para cada disco virtual como [tamanho da faixa, nível de invasão e assim por diante ...] desde que o controlador o suporte.

Acredito que 1petabyte é um erro de digitação, caso contrário, sua pergunta é inútil, pois você não deve ter essa quantidade de dados em um único gabinete de armazenamento. Você precisará procurar soluções diferentes, provavelmente o armazenamento de objetos distribuídos para diferenciar o back-end de cada categoria de objetos [vídeos, miniaturas, imagens grandes] algo semelhante ao comentário que eu publiquei originalmente.

    

Answer 2

is it possible to use multiple disks with different stripe size?

Sim, mas não no mesmo array, eles trabalham dividindo tamanhos iguais em todos os membros do array, imagino algo tão flexível quanto o ZFS pode permitir esse tipo de brincadeira, mas eu imagine que seria uma péssima ideia mesmo.

É claro que você pode ter vários arrays, cada um atento a diferentes tamanhos / requisitos de arquivo, mas será seu trabalho garantir que os arquivos apropriados sejam gravados no array / volume correto.

Não se esqueça de que a maioria dos sistemas de arquivos com os quais você lida automaticamente terá escritas adiadas, de modo que "agrupará" muitas gravações, eliminando, ao menos parcialmente, qualquer impacto positivo ao dividir seus arquivos em volumes diferentes. .

Em suma, sugiro apenas obter um controlador de array realmente bom com uma quantidade razoável de FBWC e confiar no sistema de arquivos para fazer o seu trabalho.