Estou executando vários servidores de arquivos usando este controlador, sistema de arquivos e configuração de disco.
Todos eles estão sofrendo com baixo desempenho de gravação, uma vez que o cache de gravação de 256MB BBU está cheio, recebo um iowait realmente alto (> 40) e a velocidade de gravação cai para alguns MB / s.
Isso fica ainda pior se os servidores estiverem encontrando leituras médias a pesadas durante a gravação.
Estou procurando sugestões sobre como ajustar o controlador ou o sistema de arquivos para melhorar o desempenho da gravação.
Alguns dados sobre o Raid Array and Controller:
RAID Level: Primary-5, Secondary-0, RAID Level Qualifier-3
Size:5.456 TB
State: Optimal
Stripe Size: 64 KB
Number Of Drives:4
Span Depth:1
Default Cache Policy: WriteBack, ReadAdaptive, Cached, No Write Cache if Bad BBU
Current Cache Policy: WriteBack, ReadAdaptive, Cached, No Write Cache if Bad BBU
Access Policy: Read/Write
Disk Cache Policy: Enabled
Encryption Type: None
Product Name : PERC 6/i Integrated
FW Version : 1.22.12-0952
BIOS Version : 2.04.00
Dados sobre o sistema de arquivos:
Filesystem features: has_journal ext_attr resize_inode dir_index filetype needs_recovery extent flex_bg sparse_super large_file huge_file uninit_bg dir_nlink extra_isize
Opções de montagem padrão são usadas e o sistema de arquivos foi criado usando as opções padrão do comando mkfs.ext4.
editar:
Apenas para ilustrar meu caso de uso, descreverei o que esses servidores estão fazendo.
Eles estão servindo arquivos via lighttpd a 40-80 MB / s, novos arquivos são periodicamente baixados para os servidores via ftp.
Os arquivos estão entre 800MB e 6GB.
Servir os arquivos funciona muito bem, sem qualquer IOWait perceptível, mas toda vez que as transferências de ftp entram em ação para obter novos arquivos, você pode ver que realmente está lutando.
conforme solicitado, aqui está a saída do bonnie ++:
Version 1.96 ------Sequential Output------ --Sequential Input- --Random-
Concurrency 1 -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP /sec %CP
XXXXXXX 8G 580 99 94284 14 61903 9 2853 83 189033 11 420.5 8
Latency 14004us 825ms 1548ms 105ms 202ms 98036us
Version 1.96 ------Sequential Create------ --------Random Create--------
XXXXXXX -Create-- --Read--- -Delete-- -Create-- --Read--- -Delete--
files /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP /sec %CP
5 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
Latency 406us 535us 598us 374us 21us 60us
Os discos em uso são D-WMAY03176700WDC WD2002FAEX-007BA0 em todos os servidores