Armazenamento InfiniBand

4

Estou pensando na próxima reestruturação do meu armazenamento de tamanho médio. Atualmente, é de cerca de 30 TB, compartilhados via AoE. Minhas principais opções são:

  1. Mantenha como está. Ainda pode crescer por um tempo.
    • Ir para o iSCSI. atualmente é um pouco mais lento, mas há mais opções
    • Fibre Channel.
    • InfiniBand.
Pessoalmente, gosto do preço / desempenho dos adaptadores de host InfiniBand, e a maioria das ofertas da Supermicro (minha marca de hardware preferida) tem o IB como uma opção.

O Linux teve drivers IPoIB por um tempo; mas não sei se há um uso bem conhecido para armazenamento. A maioria dos comentários sobre o iSCSI sobre IB fala sobre o iSER e sobre como ele não é suportado por algumas pilhas iSCSI.

Então, alguém tem algumas dicas sobre como usar o IB para armazenamento compartilhado para servidores Linux? Existe algum projeto iniciador / alvo lá fora? Posso simplesmente usar o iSCSI sobre IPoIB?

    
por Javier 10.08.2009 / 18:58

9 respostas

4

Embora seja possível executar o iSCSI sobre o InfiniBand via IPoIB, os protocolos iSER e SRP proporcionam um desempenho significativamente melhor em uma rede InfiniBand. Uma implementação do iSER para Linux está disponível através do projeto tgt e uma implementação SRP para Linux está disponível através do SCST . Em relação ao suporte do Windows: neste momento não existe um driver de iniciador iSER disponível para o Windows. Mas um driver de iniciador SRP para Windows está disponível no pacote de software winOFED (veja também o site openfabrics.org).

    
por 03.12.2011 / 12:43
3

Acabei de lidar com uma SAN IB usando Mellanox NICs. Funciona fora da caixa no RHEL

    
por 10.08.2009 / 19:54
3

Então ... o que a maioria das pessoas não pensa é como a Ethernet e a IB entregam pacotes. Por um lado, a Ethernet é realmente fácil e está em toda parte. Mas o gerenciamento de pacotes não é auto-mágico nem é garantia de entrega. Concedido, comutação moderna é excelente! A perda de pacotes não é mais o problema de quando era o caminho de volta. No entanto, se você realmente empurrar a Ethernet, você começará a ver os pacotes em loop lá dentro. É como se eles não soubessem onde ir. Eventualmente, os pacotes chegam onde deveriam, mas a latência causada pelo loop já aconteceu. NÃO HÁ FORMA DE persuadir os pacotes a ir aonde deveriam.

O Infiniband usa entrega garantida. Pacotes e entrega de pacotes são gerenciados ativamente. O que você verá é que o IB atingirá o pico de desempenho e, ocasionalmente, cairá como um seno quadrado. A queda acabou em milissegundos. Em seguida, o desempenho aumenta novamente.

Etherenet atinge o pico também, mas luta quando o uso é alto. Em vez de um seno quadrado, ele cai e demora um pouco para voltar ao desempenho máximo. Parece uma escada no lado esquerdo e uma direita na direita.

Esse é um problema em grandes centros de dados, onde os engenheiros escolhem Ethernet sobre IB, porque é fácil. Então, os administradores de banco de dados e engenheiros de armazenamento lutam para trás e para frente, culpando uns aos outros por problemas de desempenho. E, quando eles procuram respostas na equipe de rede, o problema é contornado porque a maioria das ferramentas vê que o uso de rede "médio" não está no desempenho máximo. Você precisa estar observando os pacotes para ver esse comportamento.

Oh! Há outro motivo para escolher o IB pela Ethernet. Cada porta IB (FDR) pode ir até 56 Gb / s. Você tem que ligar (6) 10Ge portas por 1 porta IB. Isso significa cabeamento A-LOT-LESS.

A propósito ... quando você está construindo sistemas financeiros, de armazenamento de dados, bio-lógica ou de dados grandes, você precisa de muita IOPS + Largura de Banda + Baixa Latência + Memória + CPU. Você não pode tirar nenhum deles ou seu desempenho vai sofrer. Eu consegui empurrar até 7Gbytes / segundo da Oracle para o armazenamento totalmente flash. Minha varredura de tabela completa mais rápida foi de 6 bilhões de linhas em 13 segundos.

Os sistemas transacionais podem reduzir a largura de banda total, mas ainda precisam de todos os outros componentes mencionados no parágrafo anterior. Idealmente, você usaria 10Ge para redes públicas e IB para armazenamento e interconexões.

Apenas meus pensamentos ... João

    
por 08.03.2015 / 21:44
2

Você precisa de benefícios de latência da IB ou está apenas procurando alguma forma de combinação de rede e armazenamento? se o primeiro não tiver escolha, o IB é ótimo, mas pode ser difícil de gerenciar, o FC funciona muito bem e é rápido, mas às vezes parece um pouco “velho chapéu”, o iSCSI pode ser uma ótima solução se você considerar todas as implicações. Se eu fosse você, escolheria o armazenamento FC através do FCoE por meio de switches LAN Cisco Nexus e um adaptador de rede convergente.

    
por 10.08.2009 / 21:01
1

Que tal 10 GB de ethernet? Quanto mais exótica for a interface, mais difícil será encontrar drivers e eliminar bugs, e o mais caro será tudo.

Ok - aqui está um resumo barato, dado que tudo está dentro de distâncias de cabo cx4 (15 metros):

(Estou usando dólares e preços de tabela encontrados em páginas da Web. Estou assumindo que os preços do fornecedor também são USD)

O infiniband é muito mais barato?

(por favor, note - eu nunca usei nenhum desses equipamentos, eu só estou passando por tudo o que aparece no Google depois de 30 segundos de googling. Eu certamente não estou endossando isso ou fazendo recomendações que ele fará qualquer coisa boa ou ruim)

    
por 10.08.2009 / 19:08
1

Eu me aproximei do mesmo problema usando 10-Gigabit iSCSI com um switch dedicado de 6 portas (HP 6400cl-6XG - US $ 2200) e NICs Intel CX4 de porta dupla (Intel EXPX9502CX4 - US $ 650). O custo por servidor foi reduzido para o NIC e um cabo CX4 de US $ 100. Neste caso, muito pouco foi necessário para obter drivers, etc. para trabalhar em um ambiente misto de Linux, Windows e OpenSolaris.

    
por 14.11.2009 / 03:35
1

NFS sobre RDMA funciona EXCELENTE no Fedora Linux

É muito fácil de configurar. Instale as rpms certas e ajuste alguns arquivos. Apenas google para encontrar instruções.

Eu usei os cartões infiniband Mellanox MT25208 PCIe-x8, exibindo o firmware mais recente. Custo total para dois cartões e um cabo de 15 M: US $ 150. Quem se importa com a "adoção do mercado" a esse preço.

Largura de banda do Smokin ', bem acima de 400 MBytes / segundo, com muito pouco uso de CPU no cliente ou no servidor. O gargalo é o controlador RAID.

Como bônus, o X sobre o IPOIB também é ruim, você pode dizer que o aplicativo é local.

    
por 08.11.2010 / 20:21
0

A dificuldade com o IB ao construir uma SAN é gerenciar o alvo srp. Existem muito poucas soluções pré-construídas disponíveis e a maioria é cara. Se produtos como o Open-E introduzem suporte nativo ao IB em seu software (especificamente srp), você terá uma solução de hardware fácil. O lado do cliente é muito simples de configurar no RHEL e funciona perfeitamente. Temos um sistema de teste instalado e funcionando agora que está funcionando a 600MB / s de forma consistente e com alta carga. O desempenho é incrível e a grande quantidade de largura de banda disponível oferece grande tranquilidade e flexibilidade. Sim, você ainda está limitado à velocidade do seu array, mas com o IB você pode conectar múltiplos arrays sem perder o desempenho. Use um para backups, um para armazenamento principal etc etc e usá-los simultaneamente sem qualquer perda de desempenho. Na minha experiência, como uma rede de armazenamento RDMA pura, sem IP, não há nada que possa bater IB e se você comprar ao redor, você pode definir algo por um preço muito razoável. Se alguém introduzisse algum software de dispositivo de armazenamento semelhante ao Open-E com suporte ao alvo completo do SCST SRP, ele abriria o mercado principal para o IB e eu, por exemplo, ficaria muito feliz.

    
por 31.08.2011 / 09:49
-1

Eu mesmo não implementei uma solução de armazenamento IB, mas o principal problema que entendo é que os drivers de host não são amplamente usados em seu ambiente comum. Eles estão em uso mais amplo no mundo do Windows do que no mundo do Linux. Onde eles estão em uso no mundo linux, geralmente é em dispositivos de hardware infiniband "empacotados" ou aplicativos de supercomputação com drivers sintonizados / customizados.

10g de ethernet ou 10g de fibra estão em uso muito mais amplo.

    
por 10.08.2009 / 19:48