iSCSI TGTD sobre desempenho de InfiniBand

Question

Acabei de configurar um link 4x SDR InfiniBand de servidor para servidor para aumentar a largura de banda para o armazenamento de back-end de minhas máquinas virtuais, especificamente um servidor de banco de dados. Estou usando o iSCSI com o TGTD no CentOS 6 e consigo atingir cerca de 6,45 Gbps usando IPoIB ao testar com o iperf.

Consegui ajustar o iniciador e o destino do iSCSI até o ponto em que consegui gravar cerca de 260 MB / s em um SSD. No entanto, isso ainda não é uma velocidade de gravação ideal, pois posso escrever em cerca de 500-600MB / s localmente.

Os parâmetros que estou usando atualmente são:

• MaxRecvDataSegmentLength 4194304
  
• MaxXmitDataSegmentLength 524288
  
• MaxBurstLength 4194304
  
• FirstBurstLength 262144
  
• MaxOutstandingUnexpectedPDUs = 0
  
• MaxOutstandingR2T = 1
  
• MaxCommands = 256
  
• QueueDepth = 128

Alguém já teve alguma experiência em ajustar isso? É possível obter algo maior do que isso com alterações de configuração? Mesmo fazendo um RAID 0 em dois dispositivos, eu ainda posso conseguir a mesma largura de banda, o que eu esperava mais.

    

Answer 1

Os resultados obtidos são razoavelmente esperados com a configuração atual. Você pode obter ganho de desempenho adicional com o modo de transporte iser .

Dicas de configuração de README.iser

Target:

    ./tgtadm --lld iser --mode target \
             --op new --tid 1 --targetname "iqn.$(hostname).t1"
    ./tgtadm --lld iser --mode target \
             --op bind --tid 1 --initiator-address ALL
    ./tgtadm --lld iser --mode logicalunit \
             --op new --tid 1 --lun 1 \ --backing-store /dev/sde
             --bstype rdwr

Iniciador:

    iscsiadm -m discovery -t sendtargets -p $targe
    iscsiadm -m node -p $targetip -T $targetname --op update \
        -n node.transport_name -v iser
    iscsiadm -m node -p $targetip -T $targetname --login

Questão útil sobre SF: Configure o armazenamento simples de blocos Infiniband (SRP ou iSER) .