Recentemente, obtivemos dois servidores de alta densidade QCT 2U4Node. Cada nó é equipado com um NIC 40G dual XL710 com duas portas QSPF + e duas placas Qzz mezz que suportam portas Intel 82599 e 10G SPF + para um total de 4 portas 10G por nó. Usamos DACs Intel genuínos para conectar as portas QSFP + XL710s às portas 40G QSFP + dos conectores QCT LY8. Para portas 10G, usamos um conjunto de DACs de terceiros de baixo custo para conectá-los às portas 10G de dois switches Arista 7280SE-68.
Cada um dos oito nós executa o CentOS 7.1 x86_64.
Após o teste, observamos algumas perdas de pacotes (via netstat -i
) em algumas portas de 10G. Como resultado, decidi criar RPMs para os drivers i40e
e ixgbe
estáveis mais recentes, publicados pela Intel no sourceforge. As etapas estão listadas em README
da origem de cada driver, então terminei e as instalei em cada nó usando yum -y --nogpgcheck localinstall
.
Depois, reiniciei todos os nós. Depois que todos voltaram, eu fiz modinfo i40e
e modinfo ixgbe
e vi que ambos eram os mais recentes. Assim, pensei que a atualização foi feita.
Mas hoje, eu precisava rever a saída ethtool -i
para todos os nós e tive uma surpresa! Por favor veja abaixo. Em resumo:
O que eu fiz:
modinfo
output para garantir que a nova versão seja carregada no SO Mas por que ethtool -i
ainda mostra a versão "stock" "? Eu perdi alguma etapa na atualização dos dois drivers Intel?
Obrigado por qualquer sugestão!
40G i40e
$ ansible topfses:bottomfses -a "/sbin/modinfo i40e" -u root|grep version
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 1.3.38
rhelversion: 7.1
srcversion: AC44711F498386802A6D524
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
$ ansible topfses:bottomfses -a "/sbin/ethtool -i ens10f0" -u root|grep version
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
version: 1.0.11-k
firmware-version: f4.22 a1.1 n04.24 e800013fc
10G ixgbe
$ ansible topfses:bottomfses -a "/sbin/modinfo ixgbe" -u root|grep version
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
version: 4.1.2
rhelversion: 7.1
srcversion: 11CE41D9B741B44F4507285
vermagic: 3.10.0-229.11.1.el7.x86_64 SMP mod_unload modversions
$ ansible topfses:bottomfses -a "/sbin/ethtool -i ens20f0" -u root|grep version
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0
version: 4.0.1-k-rh7.1
firmware-version: 0x800004e0