4X10GB Bonded NIC - produzindo apenas uma taxa de transferência de 4-5 GB

Question

Eu tenho dois servidores blade HPBL685c G6 com o Ubuntu 15.04

• Cada servidor tem uma NIC de 4 X 10 GB
• 2x10GB NIC estão conectados a um único módulo Ethernet VirtualConnect 10 / 10G
• As outras NICs de 2x10 GB estão conectadas a um segundo módulo Ethernet VirtualConnect 10 / 10G
• Os módulos de conexão virtual são configurados para o empilhamento horizontal e estão localizados em compartimentos de interconexão 1 & 2
• As NICs referenciadas são todas adaptadores Flex-10 incorporados

Quando eu configuro cada um dos 4 10GB NIC separadamente, posso testar usando iperf e recebo ~ 10Gbit / s de largura de banda entre servidores, para cada NIC. Isso funciona como esperado.

• Servidor 1: link
• Servidor 2: link
• iperf resultados: link e link

Agora, estou tentando unir todas as NIC de 10 GB em cada servidor, usando o modo de vinculação "balance-rr". Estes resultados variam, mas ficam em algum lugar entre 2,5Gbits / seg e 5Gbits / seg

• Servidor 1: link
• Servidor 2: link
• Resultados do iperf: link e link

Estou usando a mesma configuração para unir a placa de rede 2X1GB nesses mesmos servidores, resultados de 2X1GB NIC ligados em largura de banda de ~ 2Gbit / s ao testar com iperf. Essas duas NICs não estão conectadas a um domínio Virtual Connect e, em vez disso, estão conectadas a diferentes Cisco Catalyst Blade Switch 3120

• Servidor 1: link
• Servidor 2: link
• iperf resultados: link e link

Então, minha pergunta é: Por que vincular a NIC 4X10GB usando balance-rr, resulta em menos desempenho do que usar uma única NIC. Eu esperava uma largura de banda de ~ 40Gbit / s menos a sobrecarga de TCP / ligação, o que se alinharia com meus resultados ao unir 2X1GB e obter ~ 2GB ao testar.

Eu tentei isso com diferentes modos de ligação, e os outros resultaram em cerca de ~ 10Gbit / seg de largura de banda quando ligados. Ainda não é o ideal, mas é melhor que os resultados do balanceamento.

    

Answer 1

Parece que os Virtual Connect Modules não suportam o modo de ligação 0 (balance-rr) nas implementações de linux.

Do Suporte HP: link

Informações Modos de ligação não suportados em um ambiente HP Virtual Connect podem produzir perda de pacotes e / ou problemas de desempenho.

Detalhes O HP Virtual Connect suporta os modos de ligação 1, 5 ou 6. O VC não suporta os modos 0 (round robin) ou 7 (comutação assistida de balanceamento de carga).

Modo 1: Ativo / backup. Política de backup ativo: somente um escravo no vínculo está ativo. Um escravo diferente se torna ativo se, e somente se, o escravo ativo falhar. O endereço MAC do link é visível externamente em apenas uma porta (adaptador de rede) para evitar confundir o comutador.

Modo 5: Balanceamento de carga de transmissão adaptável: ligação de canal que não requer nenhum suporte de switch especial. O tráfego de saída é distribuído de acordo com a carga atual (calculada em relação à velocidade) em cada escravo. O tráfego de entrada é recebido pelo escravo atual. Se o escravo receptor falhar, outro escravo assumirá o endereço MAC do escravo receptor que falhou.

Modo 6: Balanceamento adaptativo de carga: inclui balanceamento-tlb mais balanceamento de carga de recepção (rlb) para tráfego IPV4 e não requer nenhum suporte especial de comutador. O balanceamento de carga de recebimento é obtido pela negociação ARP.