Como a banda lateral do IPMI compartilha a porta ethernet com o host?

22

Temos várias máquinas Supermicro com recursos IPMI / BMC. Algumas dessas máquinas usam um BMC onboard, enquanto outras usam um cartão adicional .

Estamos estudando o uso da banda lateral devido à redução de custos e requisitos de cabeamento. No entanto, alguns detalhes da banda lateral não fazem muito sentido.

A banda lateral requer um cabo ethernet que é conectado a uma porta ethernet na placa-mãe. Esta porta de rede é então compartilhada entre o sistema IPMI e o sistema operacional. Pelo que li em este manual da Supermicro , "Use o mesmo endereço MAC que você está usando para LAN1 para a placa SIMSO IPMI ". No entanto, o IPMI deve ter um endereço IP diferente do sistema operacional.

Como é possível ter dois dispositivos (o sistema operacional e o IPMI) que podem escutar e transmitir nesta mesma porta de rede física? Quando um pacote chega à interface, como o sistema determina se esse pacote é destinado ao sistema operacional ou ao sistema IPMI?

Esses pacotes são manipulados pela CPU, usando interrupções da CPU? Os pacotes para a interface IPMI podem ser visualizados pelo sistema operacional?

    
por Stefan Lasiewski 14.04.2011 / 20:58

4 respostas

38

Eu gerencio vários servidores SuperMicro usando o IPMI integrado. Eu tenho uma relação de amor / ódio com a ethernet compartilhada (aka sideband). Em geral, a maneira como essas coisas funcionam é que a LAN1 parece ter 2 (diferentes) endereços MAC - uma é para a interface IPMI, a outra é sua NIC Broadcom padrão. O tráfego para a interface IPMI (camada 2, com base no endereço MAC) é magicamente interceptado abaixo do nível do sistema operacional e nunca é visto pelo sistema operacional em execução.

Você já atingiu o ponto positivo para eles: menos cabeamento. Agora, deixe-me cobrir algumas das desvantagens:

  • É particularmente difícil particionar a interface IPMI em uma sub-rede separada de maneira segura. Como o tráfego passa pelo mesmo cabo, você (quase) sempre precisa ter a interface IPMI e a interface LAN1 na mesma sub-rede IP. Nas placas-mãe mais recentes, as placas IPMI agora suportam a atribuição de uma VLAN à NIC IPMI, para que você possa obter alguma aparência de separação - mas o SO subjacente pode sempre farejar o tráfego para essa VLAN. Controladores BMC mais antigos não permitem mudar a VLAN, apesar de ferramentas como ipmitool ou ipmicfg permitirem que você a altere, simplesmente não funciona.
  • Você está centralizando seus pontos de falha no sistema. Fazendo configuração em um switch e consegue se desligar de alguma forma? Parabéns, agora você cortou a conexão de rede principal com o servidor E o backup via IPMI. Falha no hardware da NIC? Parabéns, mesmo problema.
  • Early SuperMicro O IPMI BMC era notório por fazer coisas complicadas com a interface de rede. O uso da porta IPMI integrada vs. dedicada foi determinado com frequência na inicialização (não na reinicialização) e não seria alternado de lá. Se você teve uma queda de energia e seu switch não forneceu energia com rapidez suficiente, você pode acabar com o IPMI não funcionando porque ele autodetectou a configuração errada.
  • Eu pessoalmente tive muitos problemas de conectividade estranhos e inexplicáveis para que o IPMI da banda lateral funcionasse de maneira confiável. Às vezes eu simplesmente não conseguia fazer o ping no IP da interface por alguns minutos. Às vezes, eu recebia uma tempestade de pacotes na VLAN designada, mas o tráfego parecia ter sido descartado.

Embora isso não tenha nada a ver com sideband-vs.-dedicated, observarei também que as ferramentas para acessar sistemas host são muito mal escritas. Placas IPMI mais antigas não suportam nada além de autenticação local, tornando a rotação de senhas um problema total. Se você estiver usando a funcionalidade KVM-over-IP, ficará preso usando um applet Java expirado assinado incorretamente ou um aplicativo de área de trabalho Java estranho que só funcione no Windows e exija a elevação do UAC para ser executado. Eu encontrei a entrada do teclado para ser irregular na melhor das hipóteses, às vezes ficando "chaves presas" de tal forma que é impossível digitar uma senha para login sem tentar 10 vezes.

Eu finalmente consegui obter mais de 40 sistemas trabalhando com esse arranjo. Eu tenho principalmente novos sistemas que eu poderia VLAN as interfaces IPMI em uma sub-rede separada, e eu principalmente uso o console serial via ipmitool que funciona muito bem. Para a próxima geração de servidores, estou analisando Tecnologia AMT da Intel com suporte a KVM ; como isso faz com que o espaço do servidor, eu posso ver substituindo o IPMI com isso.

    
por 15.04.2011 / 06:06
3

Eu não usei esses cartões em particular antes, os que eu usei têm um MAC diferente para o traffice IPMI ou a porta é dedicada somente ao tráfego IPMI. Pode ser possível que o IPMI compartilhe a NIC, incluindo o MAC.

O IPMI terá um IP diferente do sistema operacional, portanto os pacotes serão direcionados corretamente com base nisso. O tráfego IPMI nunca atinge a CPU, tudo é tratado nos ICs de gerenciamento de banda lateral.

    
por 14.04.2011 / 21:14
1

Queria acrescentar ao conselho geral que usar banda lateral significa que você não pode falar do servidor para o BMC. O tráfego parece ser filtrado. Eu tentei isso no kit IBM / Dell / HP.

    
por 27.01.2012 / 11:45
0

Vou fazer o backup do último item natacado em sua resposta inicial, as sessões do IPMI irão terminar aleatoriamente (eu uso o IPMIView do supermicro para ver o console nas minhas caixas). Coisas como atualizações de firmware e powercycles parecem falhar inexplicavelmente e aleatoriamente.

Grande resposta natacada, incrivelmente completa.

    
por 20.04.2011 / 17:24