Então ... o que a maioria das pessoas não pensa é como a Ethernet e a IB entregam pacotes. Por um lado, a Ethernet é realmente fácil e está em toda parte. Mas o gerenciamento de pacotes não é auto-mágico nem é garantia de entrega. Concedido, comutação moderna é excelente! A perda de pacotes não é mais o problema de quando era o caminho de volta. No entanto, se você realmente empurrar a Ethernet, você começará a ver os pacotes em loop lá dentro. É como se eles não soubessem onde ir. Eventualmente, os pacotes chegam onde deveriam, mas a latência causada pelo loop já aconteceu. NÃO HÁ FORMA DE persuadir os pacotes a ir aonde deveriam.
O Infiniband usa entrega garantida. Pacotes e entrega de pacotes são gerenciados ativamente. O que você verá é que o IB atingirá o pico de desempenho e, ocasionalmente, cairá como um seno quadrado. A queda acabou em milissegundos. Em seguida, o desempenho aumenta novamente.
Etherenet atinge o pico também, mas luta quando o uso é alto. Em vez de um seno quadrado, ele cai e demora um pouco para voltar ao desempenho máximo. Parece uma escada no lado esquerdo e uma direita na direita.
Esse é um problema em grandes centros de dados, onde os engenheiros escolhem Ethernet sobre IB, porque é fácil. Então, os administradores de banco de dados e engenheiros de armazenamento lutam para trás e para frente, culpando uns aos outros por problemas de desempenho. E, quando eles procuram respostas na equipe de rede, o problema é contornado porque a maioria das ferramentas vê que o uso de rede "médio" não está no desempenho máximo. Você precisa estar observando os pacotes para ver esse comportamento.
Oh! Há outro motivo para escolher o IB pela Ethernet. Cada porta IB (FDR) pode ir até 56 Gb / s. Você tem que ligar (6) 10Ge portas por 1 porta IB. Isso significa cabeamento A-LOT-LESS.
A propósito ... quando você está construindo sistemas financeiros, de armazenamento de dados, bio-lógica ou de dados grandes, você precisa de muita IOPS + Largura de Banda + Baixa Latência + Memória + CPU. Você não pode tirar nenhum deles ou seu desempenho vai sofrer. Eu consegui empurrar até 7Gbytes / segundo da Oracle para o armazenamento totalmente flash. Minha varredura de tabela completa mais rápida foi de 6 bilhões de linhas em 13 segundos.
Os sistemas transacionais podem reduzir a largura de banda total, mas ainda precisam de todos os outros componentes mencionados no parágrafo anterior. Idealmente, você usaria 10Ge para redes públicas e IB para armazenamento e interconexões.
Apenas meus pensamentos ...
João