Tamanho grande da faixa RAID desperdiça espaço com arquivos pequenos?

7

Estou planejando um armazenamento Maildir com RAID 0 + 1 (ou RAID 10, RAID 5) no sistema de arquivos XFS e o XFS será criado com unidade de distribuição e largura que o RAID usará.

Ainda não determino o tamanho da faixa RAID, mas o valor padrão é 128 KB no meu sistema RAID. Se eu usar o tamanho da faixa de 128 KB para o armazenamento do Maildir, será que ele desperdiça espaço para um arquivo menor que o tamanho da faixa?

Acho que o tamanho médio dos arquivos no Maildir é de 10 KB, então qual tamanho de faixa é o melhor para esse ambiente?

    
por Brian 11.09.2011 / 17:24

2 respostas

13

Não, você não perde (nem ganha) qualquer espaço através do ajuste do tamanho da faixa RAID. O tamanho da faixa diz ao seu sistema RAID como dividir os dados para operações de E / S.

A aparência do tamanho da faixa depende do nível do RAID.

Para RAIDs de cálculo de paridade (4,5,6), uma gravação menor que um tamanho de faixa causa um ciclo de leitura-modificação-gravação, porque a paridade é sempre calculada para uma faixa inteira. Portanto, se você tiver uma gravação de 10k na faixa de 128k, isso fará com que a invasão leia 128k de dados, modifique setores pertinentes na memória, recalcule a paridade e grave a faixa inteira. Coisa Má (TM).

Para RAID sans parity (0, 1, multiple-mirrors 1), a distribuição (e o número de discos) determina quanto trabalho por E / S é feito (estatisticamente) por um único fuso (mentiras, mentiras e estatísticas ). Se você tem E / Ss com grandes sequências, a faixa grande é boa, porque cada disco em um RAID obterá uma boa quantidade sequencial de dados para leitura / gravação. Se você fizer um monte de acesso a arquivos pequenos, a faixa menor será melhor, porque é mais provável que duas E / Ss independentes irão para dois fusos diferentes e serão tratadas em paralelo.

Tanto para a teoria, na prática, a melhor abordagem será tentar tamanhos e testes diferentes. Se você permitir uma possibilidade remota de o seu sistema estar ligado ao disco, renuncie à idéia de RAID5 / 6 para os sistemas de arquivos Maildir. Pena de wrips de arquivos pequenos de read-modify-write irá matar seu desempenho.

Mais uma coisa: leia este tópico sobre como ajustar o XFS no RAID para IOs altos (alta em bairro para 1 milhão de IOPs).

    
por 11.09.2011 / 17:51
7

Eu ficaria tentado a ficar com o tamanho padrão do bloco XFS de 4KB, pois ele usa alocação atrasada, então você verá algumas eficiências muito reais usando um tamanho menor. Eu certamente não me preocuparia em tentar combinar o tamanho do arquivo maildir com os blocos de qualquer maneira, você enlouquecerá, apenas deixe o FS fazer o seu trabalho.

    
por 11.09.2011 / 17:41

Tags