Alternativas para interligar o infiniband ipoib dentro de domínios xen?

Question

Instalei o pacote xen-hypervisor-4.1 em um servidor Ubuntu 12.04.3.

Ele tem um adaptador infiniband instalado e eu executo o IPoIB com ele.

O que eu quero fazer é fornecer o ipoib para um ou mais convidados. No entanto, usando a ponte linux não é possível.

# brctl addbr br0
# brctl addif br0 ib0
can't add ib0 to bridge br0: Invalid argument

E isso é porque o ib0 não é uma verdadeira interface ethernet. Eu já tenho ipoib implantado na rede para que o eib não seja uma opção compatível?

Além disso, se eu fosse simplesmente passar pelo adaptador Infiniband que funcionaria apenas para um único convidado.

Como posso disponibilizar a rede infiniband para determinadas máquinas virtuais?

    

Answer 1

Para responder minha própria pergunta - mais uma vez.

A melhor alternativa, além do roteamento via Dom0, é usar o SR-IOV. Basicamente isso cria um número de cartões virtuais (Actually Virtual Functions) que você passa para um convidado. O convidado deve carregar um driver adequado. No entanto, do ponto de vista do convidado, ele acha que está usando o cartão nativamente, como se tivesse tudo para si.

O SR-IOV fornece o melhor desempenho neste cenário.

Conseguir isso funcionar requer um kernel recente (eu estou usando 3.11.4) e uma versão do gerenciador de sub-rede com alias GUID, ou seja, versão opensm > = 3.3.14

    

Answer 2

O IPoIB não funciona para o L2 bridging, já que é o L3 sobre o encapsulamento do IB. Você pode usar o eIPoIB pelo Mellanox: * link

É um novo recurso na versão 2.0-2.0.51, conforme especificado nas Notas da Versão. Mais detalhes sobre o eIPoIB aqui: * link