Conecte dois cartões infiniband um ao outro sem um interruptor

Question

É possível conectar duas placas Mellanox ConnectX-2 em dois computadores separados entre si sem um interruptor? Eu estou apenas tentando aprender a usar a programação de verbos sem ter que gastar $ em um switch caro.

Preciso de um cabo especial ou faço os padrões um trabalho ok? Na Ethernet padrão eu precisaria de um cabo de conexão cruzada.

    

Answer 1

Sim, você pode conectá-los diretamente. Mas você deve garantir que em pelo menos uma das máquinas que você executa o gerenciador de sub-rede opensm.

Do lado do software, se você estiver usando o Ubuntu 14.04, instale estes pacotes:

sudo apt-get install opensm infiniband-diags librdmacm-dev libibverbs-dev libmlx4-dev

Em seguida, adicione-os a / etc / modules

mlx4_ib
ip_ipoib
rdma_ucm

Adicione um endereço IP ao cartão. editar / etc / network / interfaces

auto ib0
iface ib0 inet static
  address 10.0.0.1
  netmask 255.255.255.0

Reinicie.

O Opensm será iniciado automaticamente. Repita o procedimento acima para a outra máquina, mas use um IP diferente: 10.0.0.2.

Tudo vai bem você deve ser capaz de pingar 10.0.0.2 de 10.0.0.1 e vice-versa.

Execute alguns testes:

sudo ibnodes

Ah, há um bug em scripts para ibnodes e vários outros. Você pode corrigi-los editando-os. Principalmente eles são scripts de shell que apontam para / usr / local / sbin quando eles estão realmente chamando aplicativos em / usr / sbin.

Se você encontrar um, vá em frente e edite-o e altere o IBPATH de acordo. Eu nunca cheguei a preencher um relatório de bug contra o Ubuntu para isso. Espero que alguém o faça. Tem sido um problema há séculos.

A saída será parecida com:

Ca  : 0x001a4bffff0c9374 ports 2 "HP Lion Cub DDR 128MB"
Ca  : 0x001a4bffff0c446c ports 2 "HP Lion Cub DDR 128MB"
Ca  : 0x001a4bffff0c4438 ports 2 "HP Lion Cub DDR 128MB"
Switch  : 0x000b8cffff006aa8 ports 24 "MT47396 Infiniscale-III Mellanox Technologies" base port 0 lid 2 lmc 0