2 port 10Gbe NIC Metade do desempenho esperado

Question

Estou tendo problemas para obter minha taxa de transferência esperada de um Intel 1025 Gigabit 82599EB de porta dupla. Eu tentei muitas coisas e quero saber se há algo que eu poderia tentar que eu perdi.

Minha configuração de hardware

Dois servidores com o OpenSUSE e uma porta dupla Intel 82599EB 10GbE em cada. Eles são configurados manualmente para IPs estáticos e cada porta em uma máquina é conectada a uma porta na segunda.

lspci -vv

Teste de rendimento

Estou usando o iperf para testar. Os cartões estão dirigindo por ixgbe.

No lado do receptor, corro

iperf -s

No lado do transmissor:

iperf -c 192.168.1.10 -t 20 -B 192.168.1.20
iperf -c 192.168.1.11 -t 20 -B 192.168.1.21

E agora estou ganhando cerca de 4.x Gb por interface. Se eu executar apenas uma interface, recebo 9.xGb.

Tentativas de configuração

Eu procurei em sites da SE e muitos outros artigos. Aqui estão três úteis que encontrei.

1. Conectividade de rede - Ajustando o desempenho do rendimento do Intel® Ethernet Adapter
2. link
3. link (PDF)

As duas coisas que realmente ajudaram:

1. Usando quadros jumbo definindo a MTU em 9000.
2. Aumentando as configurações de rmem em /etc/sysctl.conf

No entanto, ainda estou correndo em torno de 9.5Gbe combinados para ambos os canais. Eu estou pensando que eu deveria pegar 9Gbe ou mais por canal.

Coisas que tentei sem muito sucesso:

• Usado ethtool -c para variar a coalescência de interrupção
• Usado o ethtool para desativar / ativar o controle de fluxo

Edições conforme comentários

Para testar a utilização da CPU, estou usando mpstat -P ALL 5 . No servidor de transmissão, vejo 61% de utilização.

01:12:59 PM  CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
...
01:12:59 PM    4    0.00    0.00   61.33    0.00    0.00    9.38    0.00    0.00   29.29

Isso deve estar certo, certo? No receptor, vejo um máximo de 30%.

Usando o lspci, recebi o seguinte. Eu posso postar as saídas completas, se necessário, mas acho que isso mostra as informações necessárias pcie:

Remetente:

1: LnkCap: Port #16, Speed 5GT/s, Width x8, ASPM L0s, Latency L0 <2us, L1 <32us
                        ClockPM- Surprise- LLActRep- BwNot-
   LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk-
                    ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
   LnkSta: Speed 5GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
   DevCap2: Completion Timeout: Range ABCD, TimeoutDis+
   DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-
   LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB
Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                     Compliance De-emphasis: -6dB
2: LnkCap: Port #16, Speed 5GT/s, Width x8, ASPM L0s, Latency L0 <2us, L1 <32us
                        ClockPM- Surprise- LLActRep- BwNot-
   LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk-
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
   LnkSta: Speed 5GT/s, Width x8, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
   DevCap2: Completion Timeout: Range ABCD, TimeoutDis+
   DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-
   LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB
   Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB

Receptor:

 1: LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Latency L0 <1us, L1 <8us
                        ClockPM- Surprise- LLActRep- BwNot-
    LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
    LnkSta: Speed 5GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
    DevCap2: Completion Timeout: Range ABCD, TimeoutDis+
    DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-
    LnkCtl2: Target Link Speed: 5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB
 Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                             Compliance De-emphasis: -6dB
2: LnkCap: Port #0, Speed 5GT/s, Width x8, ASPM L0s, Latency L0 <1us, L1 <8us
                        ClockPM- Surprise- LLActRep- BwNot-
   LnkCtl: ASPM Disabled; RCB 64 bytes Disabled- Retrain- CommClk+
                        ExtSynch- ClockPM- AutWidDis- BWInt- AutBWInt-
   LnkSta: Speed 5GT/s, Width x4, TrErr- Train- SlotClk+ DLActive- BWMgmt- ABWMgmt-
   DevCap2: Completion Timeout: Range ABCD, TimeoutDis+
   DevCtl2: Completion Timeout: 50us to 50ms, TimeoutDis-
   LnkCtl2: Target Link Speed: 2.5GT/s, EnterCompliance- SpeedDis-, Selectable De-emphasis: -6dB
   Transmit Margin: Normal Operating Range, EnterModifiedCompliance- ComplianceSOS-
                         Compliance De-emphasis: -6dB

5 G / T a x8 deve estar certo?