mdadm escalando além de 6 discos w / ssd

Question

Parece que o Linux mdadm produz menos gravações & iops à medida que mais discos são adicionados a uma matriz. Por exemplo, testei as seguintes configurações, com os padrões, além de alterar o planejador de E / S para o prazo e o perfil tuned-adm para throughput-performance:

A placa-mãe tem processadores Dual E5, RAM DDR4 & 10 portas X SATA3. Os SSDs são unidades de 10 X Samsung 850 Pro. O SO é o CentOS 7 64. (O CentOS 6.7 foi muito ruim). FS é xfs.

Com aproximadamente 4 a 6 unidades, as gravações sequenciais que ignoram o cache são aproximadamente de 800 MB / s a 1 GB / s. Escrever com cache é aproximadamente 2-3GB / s.

Executando vários testes de fio, os iops parecem chegar a 80.000 iops com sinalização direta e, é claro, 800.000+ sem o sinalizador direto.

O tamanho do bloco é 512k, o padrão. As partições parecem estar alinhadas corretamente.

Quando mais discos são adicionados à matriz, os iops permanecem os mesmos através da placa, em cerca de 60-80.000 iops e não aumentam linearmente com as unidades adicionais.

Além disso, quando mais unidades são adicionadas, as gravações sequenciais parecem afundar como se fossem apenas uma única unidade. Testando uma única unidade para ambos os iops & gravações seqüenciais rendem cerca de 70.000 iops (com base na porcentagem de RW) e 400-500 MB / s. Seqüencial é um pouco menor com todas as 10 unidades na matriz, entre 300-500 MB / s.

As gravações seqüenciais não são um problema no entanto, estou querendo saber se há um gargalo ou limitação no mdadm que está sendo ignorado. Com 4-6 drives, ele tem um desempenho incrível. Além de 6 drives, o desempenho parece permanecer o mesmo ou cair, especialmente com gravações sequenciais.

EDITAR após alguns testes adicionais, consigo obter as velocidades sequenciais ao fazer gravações muito grandes, como 20GB, 40GB 80GB etc. Um teste dd com 42GB resultou em 640 MB / s com fdatasync.

Eu também entendo que o dd não é ideal para o benchmarking de SSDs - essa não é a minha pergunta, estou tentando entender de onde o drop off está vindo além dos 4-6 discos.