Quadro de consumidores para um cluster de mercadorias de 4 * na topologia GB-lan tetraédrica back-to-back

Question

Não tenho muita certeza sobre qual painel de consumidores escolher para essa configuração.

Estou planejando construir um ou mais "agrupamentos semelhantes a Beowulf" (começando com um para teste), um desses clusters consiste em quatro caixas Soquete-1156 + i7 / 875K + 2x2GB 1333) em tetraédrico Gbit-Lan topologia (conexões X-link back-to-back diretas).

Na imagem abaixo, cada caixa chamada A, B, C ou D tem quatro Gbit-NIC, um apontando para o upstream Gbit-switch (linha fina), três para conexões para as caixas restantes (cada cor denota uma sub-rede entre dois NICs):

Pretende-sequeestesejaumservidordecomputaçãoconfiávelde"nós de 32 nós" de € 2.5K (provavelmente mais barato) executando Linux e OpenMPI de 64 bits. O servidor inicia simulações numéricas nos nós através do OpenMPI, os nós se comunicarão através de suas conexões back-to-back.

O problema : Eu testei uma configuração semelhante em um cluster "trigonal" (três nós, cada um com dois adicionais PCIe-NIC e onboard Gbit-NIC) bem-sucedido um tipo de placa ( Gigabyte P55A-UD3R ).

Outra placa que eu testei ( Gigabyte P55A-UD4 ) falhou reproduzível após alguns minutos sob carga total da rede (mas não quando no modo nó único ).

Para a configuração acima, eu gostaria de usar uma placa que é capaz de suportar o peso de quatro links Gbit simultâneos. Da minha configuração trigonal eu sei que cada NIC transfere cerca de 50-80 MB / s a qualquer momento (iftop).

• A topologia tetraédrica (como mostrado acima) seria possível?
• Devo escolher pranchas com dois on-board Gbit-NICSs (caros)?
• O PCIe em placas de consumo pode sustentar 4 linhas Gbit simultâneas?
• É um monte de PCIe-NICs (passivas) baratas ok?
• Alguém fez algo semelhante e tem recomendações?

Obrigado & Atenciosamente

rbo

    

Answer 1

A qualidade de seus NICs provavelmente será o problema. Rede onboard para placas de consumo é geralmente barato chipsets Broadcom ou Realtek, que são muito horríveis sob cargas reais. NICs de nível de consumidor barato terão problemas semelhantes.

NICs standalone com os melhores chipsets Intel são muito bem considerados.

O PCIe nas placas de consumo deve ser capaz de lidar com esse tipo de largura de banda sem problemas.

Compre nics de nível corporativo para isso - qualquer outra coisa vai lhe dar problemas, em termos de velocidade e carga de CPU (processamento de descarregamento de nics mais barato para o seu cpu). Eu consideraria algo como o Adaptador para servidor de porta Quad Intel Gigabit ET2.

link

Isso fará com que você gere cerca de US $ 400, o que não é barato, mas lhe dará o desempenho de que você precisa.

Além disso, tenha certeza de que você não está passando tráfego acidentalmente pelo switch. Isso provavelmente causará problemas em carga máxima se você não tiver um switch de nível corporativo caro. Ative os Jumbo Frames se o seu hardware for compatível.