Qual é o melhor formato de partição e configuração de raid para milhões de arquivos pequenos? [fechadas]

0

Se eu tiver milhões de arquivos pequenos distribuídos por pastas, qual seria o melhor formato de partição e qual configuração do RAID para gerenciá-los o mais rápido possível? Por exemplo, pesquise em todos os arquivos, encontre arquivos maiores que x MB, etc.

Ajudará nesse cenário ter de 4 a 5 SSDs distribuídos em ataque por desempenho?

E considerando que a maioria dos arquivos tem menos de 1 MB, existe um determinado formato de partição que seria mais rápido nesse caso?

Editar: os dados serão lidos várias vezes para fazer consultas, pelo menos duas vezes mais leituras do que escritas. Os dados não são críticos e a velocidade é uma prioridade sobre a proteção de dados.

    
por adrianTNT 30.03.2018 / 15:45

1 resposta

3

Em geral, para o RAID, você obtém N (número de dispositivos) * I (iops) para leituras, e ocorre alguma divisão para gravações, dependendo do nível do RAID. (N * I) / 2 para espelhos, / 4 para raid5, / 6 para raid6, etc.

Para dados não críticos, que podem ser perdidos em caso de falha de um dispositivo e recriados do zero, ou apenas serem criados novos, o RAID0 será o mais rápido para gravações. Essa é uma faixa simples em vários dispositivos, e não há leituras ou gravações de paridade que ocorram para consumir o Write Iops. No RAID0, o desempenho de leitura e gravação deve ser N * I. (sua CPU e os métodos de cache do sistema de arquivos de escolha, podem afetar os números um pouco, mas como regra geral, você deve ficar bem perto disso.

Dependendo do número de unidades disponíveis e da capacidade de que você precisa, o uso do RAID10 manterá seu desempenho de leitura em N I e seu desempenho de gravação será (N I) / 2 desde que você tem que emitir gravações em ambos os lados do espelho.

4-5 SSDs, configurados como uma faixa, usando o EXT4, darão a você (na minha opinião) a melhor interseção entre Desempenho e Simplicidade, sacrificando a proteção de dados.

O RAID10 reduzirá pela metade sua capacidade e seu desempenho de gravação, manterá seu desempenho de leitura (você ainda poderá ler de todas as unidades) e fornecerá uma boa integridade de dados.

Para dados de rascunho, eu usaria EXT4 e RAID0 em uma única partição e várias pastas conforme necessário.

    
por 30.03.2018 / 19:05