IPoIB (IP sobre InfiniBand) vs. desempenho de RDMA

Question

Eu herdei parcialmente um cluster Linux HA no centro do qual atualmente serve uma conexão com o DRBD 8 sobre IPoIB (IP over InfiniBand) entre dois hosts Debian. Não está quebrado, então não vou consertar isso.

Eu também notei que o DRBD 9 suporta RDMA, então a questão pode ser a de substituir a conexão com o DRBD 9 pelo RDMA (isto é, a "InfiniBand" nativa) no futuro.

Como não quero executar testes de desempenho em um sistema de produção, estou pensando: há comparações de desempenho publicadas para IPoIB vs. RDMA / InfiniBand. Por exemplo, posso esperar que os ganhos de largura de banda / latência mudem do IPoIB nas ordens de magnitude de 10%, 50% ou 100%, digamos? O que poderia ser esperado?

    

Answer 1

você viu essas apresentações? link link

O InfiniBand é apenas uma arquitetura de rede específica que oferece o RDMA, mas seu desempenho dependerá do tipo de aplicativo que você está executando. Minha experiência é baseada em sistemas acadêmicos / de pesquisa, principalmente usando aplicativos baseados em MPI. Em certos casos, tenho visto o RDMA se apresentando 20% melhor que o IPoIB. Mas eu não estou ciente de qualquer benchmarking, mas há uma abundância de trabalhos acadêmicos escritos e também white papers de fornecedores. Se você está pensando apenas em E / S, considere: tamanhos de arquivo, número de leituras x gravações. O RDMA geralmente proporcionava um grande benefício para pequenas leituras aleatórias, mas apenas um pequeno benefício para as gravações. Você pode querer ler sobre RoCE (RDMA sobre Ethernet Convergente) e RDMA nativo InfiniBand.