Desempenho limitado de E / S no Dell T410

Question

    Temos um pequeno número de sistemas Dell T410 e T710. Cada um tem um controlador Dell SAS 6iR com 6 discos SATAII, 1x160GB e discos 5x3TB DATA. Temos tido problemas de velocidade de acesso ao disco o tempo todo, cada disco dando pouco mais de 100MB / s sozinho, mas diminui rapidamente sob carga. Nos disseram que eram nossos controladores de disco. Tentei substituir um deles por um H700 e vi pouca diferença, talvez 5% de aumento de velocidade. Convencidos de nós mesmos deve ser algo com o SAS - > Backplane SAS - > Discos SATAII.

    Mas agora estamos tentando configurar o cluster ceph entre sistemas e acelerar os arquivos de periódicos que compramos SDD's OCZ Vertex 4 com uma placa PCI-e 1X Highpoint 620, já que o SAS está todo ligado ao Backplane SAS. Tudo bem.

    Mas no teste, eu tentei 'dd se = / dev / zero bs = 4k contar = 1024k de = / mnt / test1.img' onde o SSD é montado com um sistema de arquivos EXT4. Eu tenho 'iostat -dmx 1' aberto em outra janela. Eu vejo o fim de gravação, relatando 390MB / s gravar no disco, mas isso é com o cache de disco. No iostat, vejo o fluxo para o disco nos mesmos 100-120MB / seg que vejo nos nossos discos SATAII!

    Tentei o mesmo teste na outra direção, 'echo 3 > / proc / sys / vm / drop_caches; dd se = / mnt / test1.img bs = 4k de = / dev / null ', que relatou 194MB / se viu 189MB / seg em iostat.

    Eu tentei a mesma coisa com o Ubuntu 12.10 e CentOS Live CD's. Nossos sistemas Windows 2008 R2 sempre pareceram lentos. Todos os BIOS e Firmware estão atualizados. Tentei os agendadores noop, deadline e cfq, todos os mesmos resultados. Desativou todas e quaisquer opções de memória e CPU no BIOS, sem alterações. Tentei com IOATDMA habilitado, sem alteração. Tentei tirar todos os cartões de rede e SAS, deixando apenas o cartão SATAIII e SSD, sem alterações. O cartão SATAIII é reconhecido corretamente e identifica o SSD como velocidade 6G.

    O cartão SATAIII e o SSD obtêm 400MB / s + em outros sistemas de desktop.

    Alguma idéia do que tentar em seguida?

    Não podemos nos dar ao luxo de substituir e começar tudo de novo. Ele está agindo como se houvesse algum recurso que estivesse limitando a quantidade de recursos de E / S ou intervalos de tempo para que não atingisse a velocidade máxima. O Dell BIOS limitado não tem muitas opções para fazer isso e o cartão e o SSD funcionam bem em outros sistemas, portanto, ele não deve ser o culpado. E sempre foi lento com os discos SATAII o tempo todo, mesmo que tenham um desempenho melhor em outros sistemas também.

    Eu até vejo o desempenho lento em discos meta no sistema. Isto é visível quando eu tentei LVM com striping ou espelhamento no CentOS, os metadisks que ele configura o plano de fundo para implementar os volumes LVM foram limitados à mesma velocidade que os discos por trás deles. No momento eu pensei que poderia ter sido algo a ver com o novo código de implementação ou os aspectos de bloqueio de IO das operações RAID. Agora eu acho que está tudo relacionado.

    

Answer 1

Bem, do meu ponto de vista, o problema pode estar em um barramento PCI-E defeituoso ou em alguns problemas com o Controlador em geral. No lado do controlador, você tentou desativar o cache de gravação para as unidades SSD? Oficialmente, a Dell sugere desativar o cache de gravação ao usar unidades SSD ...

Outro ponto, se bem me lembro, qualquer controlador da Dell desativa o cache de gravação se você não tiver nenhuma unidade de backup de bateria (BBU) instalada no servidor, você tem uma? Caso contrário, force o cache de gravação no BIOS PERC e verifique se o desempenho muda. Tenha em mente que o cache de gravação sem uma bateria expõe você a uma perda de dados catastrófica em um evento de falha de energia!

Como último recurso, se for um problema de barramento PCI-E, a maneira mais rápida e simples deve ser alterar o slot do controlador.

EDIT: esqueci de mencionar

Você atualizou os firmwares de sistema para as versões mais recentes? BIOS, PERC Firmwares e outras coisas relacionadas? Se não, obtenha o mais recente em support.dell.com e tente novamente. Talvez isso não mude nada, mas os antigos firmwares Dell BIOS tinham um bug onde eles estavam estrangulando o CPU nas arquiteturas pós Nehalem, tentavam desabilitar os estados C na seção CPU do BIOS, e isso aumentaria o consumo de energia!