Em uma ligação LACP, todas as interfaces de parceiros precisam ter a mesma “chave de operação”?

Question

Usamos links LACP (modo 4) extensivamente em nosso ambiente, e ocasionalmente me deparo com problemas com novas implementações em que cabos são cruzados ou portas de switch estão mal configuradas, causando estados de porta LACP ruins.

Uma coisa que tenho usado para solucionar problemas é o valor da chave de operação do parceiro. Estes geralmente tendem a corresponder, e quando não, isso me faz suspeitar de um possível problema de cabo cruzado. Eu tenho tentado pesquisar isso, mas tenho tido dificuldade em encontrar uma resposta definitiva. Então, é razoável esperar que as chaves operadoras em um grupo de canais LACP sempre compartilhem a mesma chave operacional, ou há casos em que elas possam diferir em um grupo configurado corretamente?

Por exemplo:

# grep -A6 "partner lacp pdu" /proc/net/bonding/bond0
details partner lacp pdu:
    system priority: 32768
    system mac address: 70:e4:23:92:42:b7
    oper key: 205
    port priority: 32768
    port number: 92
    port state: 61
--
details partner lacp pdu:
    system priority: 32768
    system mac address: 70:e4:23:92:42:b7
    oper key: 206
    port priority: 32768
    port number: 94
    port state: 13

Neste exemplo, sei que o estado do segundo parceiro é ruim - estou apenas tentando encontrar uma boa maneira de determinar "por que" é ruim.

    

Answer 1

Eu acabei de entrar em 400 servidores usando o modo LACP 4. Duas interfaces, 25G para cima / baixo para um total de 50G. 2x Cisco 9600 LACP modo 4 definido em um canal de porta para combinar as duas portas. Um cabo entra em um comutador diferente para ter redundância de energia, comutador, cabo, rack e interface.

chave de operação é a mesma em todo o quadro.

Estou incluindo um vínculo de trabalho abaixo.

Várias coisas vêm à mente para sua pergunta,

One thing that I've been using to troubleshoot is the value of the partner oper key. These generally tend to match, and when they don't, it makes me suspect a possible crossed cable problem

Isso poderia ser resolvido usando uma prática de cabeamento padrão. Todos os nossos cabos descem pelo lado esquerdo do rack, todos são plugados no lado esquerdo do switch (ou, neste caso, um rack). Todos os cabos do lado direito vão para o lado direito do rack. interruptor. Então, parece que o servidor 1 tem um cabo para a porta 1 ou a porta 48. Isso ajudaria você a criar um modelo padrão para contar. O servidor 5 seria a porta 43 e a porta 5. Fácil de rastrear, fácil de comunicar.

Outro pensamento, usamos endereços mac para rastrear membros do LACP. Eu poderia entrar em um servidor usando radssh + racadm (acesso fora de banda) ou radssh (utilizando ssh) para log em massa em todos os meus servidores e puxar a lista de endereços mac (não bond0, queremos os membros reais). Entregue essa lista completa de endereços mac a uma equipe de rede e compare a lista de membros à lista de endereços mac.

sudo cat /etc/sysconfig/network-scripts/ifcfg-bond0 
DEVICE=bond0
NAME=bond0
#NM_CONTROLLED=no
IPADDR=$SERVER_IP
PREFIX=22
GATEWAY=$GATEWAY_IP
ONBOOT=yes
BOOTPROTO=none
BONDING_OPTS="miimon=100 mode=4 lacp_rate=1 xmit_hash_policy=layer3+4"

sudo cat /etc/sysconfig/network-scripts/ifcfg-enp10s0f0
DEVICE=enp10s0f0
TYPE="Ethernet"
BOOTPROTO="none"
ONBOOT="yes"
MASTER=bond0
SLAVE=yes
##HWADDR=<MAC>:2C:6C
#DEFROUTE="yes"
#PEERDNS="yes"
#PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6_FAILURE_FATAL="no"
NAME="enp10s0f0"

 sudo cat /proc/net/bonding/bond0

  Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)

  Bonding Mode: IEEE 802.3ad Dynamic link aggregation
  Transmit Hash Policy: layer3+4 (1)
  MII Status: up
  MII Polling Interval (ms): 100
  Up Delay (ms): 0
  Down Delay (ms): 0

  802.3ad info
  LACP rate: fast
  Min links: 0
  Aggregator selection policy (ad_select): stable
  Active Aggregator Info:
    Aggregator ID: 2
    Number of ports: 2
    Actor Key: 1
    Partner Key: 32875
    Partner Mac Address: <MAC>:be:03

  Slave Interface: enp10s0f0
  MII Status: up
  Speed: 25000 Mbps
  Duplex: full
  Link Failure Count: 7
  Permanent HW addr: <MAC>:ea:7c
  Slave queue ID: 0
  Aggregator ID: 2
  Actor Churn State: none
  Partner Churn State: none
  Actor Churned Count: 6
  Partner Churned Count: 6
  details actor lacp pdu:
      system priority: 65535
      port key: 1
      port priority: 255
      port number: 1
      port state: 63
  details partner lacp pdu:
      system priority: 32667
      oper key: 32875
      port priority: 32768
      port number: 263
      port state: 60

  Slave Interface: p8p2
  MII Status: up
  Speed: 25000 Mbps
  Duplex: full
  Link Failure Count: 7
  Permanent HW addr: <MAC>:ea:7d
  Slave queue ID: 0
  Aggregator ID: 2
  Actor Churn State: none
  Partner Churn State: none
  Actor Churned Count: 5
  Partner Churned Count: 5
  details actor lacp pdu:
      system priority: 65535
      port key: 1
      port priority: 255
      port number: 2
      port state: 63
  details partner lacp pdu:
      system priority: 32667
      oper key: 32875
      port priority: 32768
      port number: 16647
      port state: 60