Instalando o cartão Mellanox ConnectX-2 10gbe PCIe no Centos 6

Question

Acabei de instalar uma placa PCIe x8 Mellanox ConnectX-2 de 10GB no meu servidor executando o CentOS 6.7. Na inicialização, o dmesg mostra o driver mlx4_core sendo carregado automaticamente, mas não vejo nenhum dispositivo eth1 correspondente ao cartão. ifconfig -a mostra apenas eth0 , que é minha interface de rede Gigabit onboard / motherboard.

Então, eu deletei /etc/udev/rules.d/70-persistent-net.rules e reiniciei. Ele recriou 70-persistent-net.rules , mas apenas com o meu NIC gigabit onboard / placa-mãe, nenhuma entrada para o cartão Mellanox 10gb.

Saída de /etc/udev/rules.d/70-persistent-net.rules

# PCI device 0x10ec:0x8168 (r8169)
SUBSYSTEM=="net", ACTION=="add", DRIVERS=="?*", ATTR{address}=="00:30:67:aa:bb:cc", ATTR{type}=="1", KERNEL=="eth*", NAME="eth0"

A boa notícia é que lspci mostra o cartão Mellanox. Saída de lspci | grep -i ether

02:00.0 Ethernet controller: Mellanox Technologies MT26448 [ConnectX EN 10GigE, PCIe 2.0 5GT/s] (rev b0)
05:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 03)

Saída relevante de dmesg :

mlx4_core: Mellanox ConnectX core driver v2.2-1 (Feb, 2014)
mlx4_core: Initializing 0000:02:00.0
mlx4_core 0000:02:00.0: PCI INT A -> GSI 16 (level, low) -> IRQ 16
mlx4_core 0000:02:00.0: setting latency timer to 64
  alloc irq_desc for 26 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 26 for MSI/MSI-X
  alloc irq_desc for 27 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 27 for MSI/MSI-X
  alloc irq_desc for 28 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 28 for MSI/MSI-X
  alloc irq_desc for 29 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 29 for MSI/MSI-X
  alloc irq_desc for 30 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 30 for MSI/MSI-X
  alloc irq_desc for 31 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 31 for MSI/MSI-X
  alloc irq_desc for 32 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 32 for MSI/MSI-X
  alloc irq_desc for 33 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 33 for MSI/MSI-X
  alloc irq_desc for 34 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 34 for MSI/MSI-X
  alloc irq_desc for 35 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 35 for MSI/MSI-X
  alloc irq_desc for 36 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 36 for MSI/MSI-X
  alloc irq_desc for 37 on node -1
  alloc kstat_irqs on node -1
mlx4_core 0000:02:00.0: irq 37 for MSI/MSI-X

Alguma idéia de por que meu Mellanox ConnectX-2 não está aparecendo como um dispositivo eth1 ?

    

Answer 1

Eu descobri a solução. Tudo o que eu tive que fazer foi digitar dois comandos para ativar a placa de rede no CentOS 6:

sudo modprobe mlx4_core
sudo modprobe mlx4_en

Agora tenho eth1 em ifconfig -a e posso configurá-lo (endereço IP, máscara de rede, etc.)

Para torná-lo permanente durante as reinicializações, adicionei um novo arquivo /etc/sysconfig/modules/mellanox.modules e configurei suas permissões (chmod) para 755, proprietário / grupo como root:

#!/bin/sh
/sbin/modprobe mlx4_core
/sbin/modprobe mlx4_en

Isso carrega automaticamente o módulo kernal do Mellanox embutido no CentOS na inicialização, antes de ativar as configurações eth0 / eth1 especificadas em / etc / sysconfig / network-scripts

Agora funciona como qualquer outra interface de rede.

    

Answer 2

Este cartão deve funcionar nativamente sem alterações. Basta remover seu 70-persistent-net.rules / reboot e / ou verificar dmesg output.

Você pode ter um problema com um UUID ou MAC nos arquivos / etc / sysconfig / network-scripts / ifcfg-ethX.

Se nenhum desses for o caso, faça o download do driver da Mellanox ou HP .

# modinfo  mlx4_en
filename:       /lib/modules/2.6.32-573.22.1.el6.x86_64/weak-updates/mlnx-en/drivers/net/ethernet/mellanox/mlx4/mlx4_en.ko
version:        2.3-2.0.1 (Dec  7 2014)
license:        Dual BSD/GPL
description:    Mellanox ConnectX HCA Ethernet driver
author:         Liran Liss, Yevgeny Petrilin
srcversion:     86DD1A5FE5CF17268AFBB0D
depends:        mlx4_core,compat,ptp
vermagic:       2.6.32-504.el6.x86_64 SMP mod_unload modversions
parm:           inline_thold:threshold for using inline data (uint)
parm:           udp_rss:Enable RSS for incoming UDP traffic (uint)
parm:           num_lro:Dummy module parameter to prevent loading issues (uint)
parm:           pfctx:Priority based Flow Control policy on TX[7:0]. Per priority bit mask (uint)
parm:           pfcrx:Priority based Flow Control policy on RX[7:0]. Per priority bit mask (uint)