Como diagnosticar problemas de dimensionamento do sistema de armazenamento?

Question

No momento, estamos testando a taxa de transferência de leitura seqüencial máxima de um sistema de armazenamento (48 discos no total, atrás de dois arrays HP P2000) conectados ao HP DL580 G7 executando o RHEL 5 com 128 GB de memória.

O teste inicial foi feito principalmente executando comandos DD como este:

dd if=/dev/mapper/mpath1 of=/dev/null bs=1M count=3000

Em paralelo para cada disco.

No entanto, não foi possível dimensionar os resultados de um array (throughput máximo de 1,3 GB / s) para dois (quase o mesmo throughput total). Cada matriz é conectada a um adaptador de bus do host FC dedicado, portanto, eles não devem ser o gargalo. Os discos estão atualmente na configuração do JBOD, portanto, cada disco pode ser endereçado diretamente.

Eu tenho duas perguntas:

1. A execução de vários comandos DD em paralelo é realmente uma boa maneira de testar a taxa de transferência máxima de leitura?

2. Como devemos prosseguir tentando encontrar o motivo do problema de dimensionamento? Você acha que o próprio servidor é o gargalo aqui, ou pode haver alguns parâmetros do Linux que negligenciamos?

Answer 1

Eu recomendaria tentar uma ferramenta de benchmarking dedicada como bonnie ++ ou iozone (ambos disponíveis via yum from RPMForge) para obter uma representação precisa das capacidades do sistema de armazenamento. O Iozone permitirá que você especifique o número de encadeamentos, o tamanho do bloco e os padrões de leitura / gravação. As IOPs não são importantes no seu caso de uso?

Como você está se conectando a esta unidade? FC? SAS? Você pode descrever sua configuração RAID? Você não especificou o modelo ou a geração exata do P2000 (estou assumindo um G2 ou G3 24SFF versus 12LFF discos por gabinete), mas há algum nível de excesso de assinaturas nas unidades 24SFF, portanto, espero que sua velocidade de leitura sequencial seja limitada por isso.

Os HP QuickSpecs para o MSA2324 G3 LFF mostram 4Gb FC RAID 1 + 0 velocidades de leitura de 1,6 GB / s. Isso é o mesmo para o RAID 5 e o RAID 6, portanto, o controlador / interface parece ser o fator limitante.