rede 10GE: Ainda é mortalmente caro? Alguma opção?

Question

Eu estou construindo o cluster home onde eu terei cerca de 16 nós que podem viver com portas 1G, mas eu quero ter 10GE no servidor de arquivos & nó central. É tudo local, portanto não há necessidade de cabos maiores que 3-5m. E é claro que quero gastar o mínimo possível (não gastar mais do que os custos totais do cluster): -)

Quais são minhas opções?

1. A solução legada é usar um switch 1GE de 24 a 48 portas e conectar-se a nós centrais / de arquivo por meio de links agregados de 4 a 8. Isso vai funcionar, eu acho, o custo é muito aceitável, mas não tenho certeza se é ok usar tantos links agregados. E é claro que seria difícil dobrar a largura de banda quando necessário ... :-D
2. Alterne com várias 'portas' de uplink 10GE. Tanto quanto eu vejo, todos eles exigem módulos que custam cerca de 1000 $, então eu vou precisar de 4 módulos de 10G e 2 cartões de 10GE ... Cheira a forma de mais de 5000 $ + ...
3. Conectar arquivo & nó central através de 2 cartões 10G diretamente, e coloque 4 NICs 1GE quad-port no servidor de arquivos. Estou economizando em 2 módulos de 10G e um switch, o servidor de arquivos terá que fazer o roteamento de pacotes, mas ainda vai ter um monte de CPU: -)
4. Alguma outra opção? Infiniband
5. Os adaptadores MyriNet funcionam bem? Eu acho que não há opções mais baratas?
6. Hmm ... Copie o servidor de arquivos, coloque tudo no nó central e forneça a porta 1GE dedicada para cada um dos nós ... Isso é triste ...

Answer 1

Eu não acho que você não esteja vendo a foto inteira aqui.

Você está querendo conectar um servidor de arquivos a uma velocidade de 10Gbps, o que pode soar como uma ideia sexy. O que você não está vendo é a capacidade desse servidor gerar essa quantidade de leitura de tráfego dos discos. Obter 1GBps de um servidor de arquivos é, hoje, uma conquista muito boa. 10 Gbps não será apenas caro, pois você se deu conta, mas no mínimo 90% é inútil.

Sua melhor opção é começar a colocar alguns discos velozes em seus servidores de arquivos se precisar fornecer quantidades tão grandes de IOs. Eu acredito strongmente que o caminho "acessível" (observe as aspas) para isso é unidades SSD em configurações RAID rápidas (isto é, RAID10).

Quanto à rede, um agregado de 4x1Gbps fará o truque bem e você pode até adicionar mais tarde. Fique atento ao fato de que os barramentos internos (leia PCI *) nem sempre são capazes de lidar com velocidades de vários gigabits. Isso é especialmente verdadeiro se você não estiver usando placas-mãe de servidor.

Eu acredito que esta é sua única opção "acessível" aqui. Os cartões Infiniband não são terrivelmente caros. Eu acredito que você pode encontrar alguns por ~ 150 $, mas a troca será muito cara.

    

Answer 2

você pode querer considerar o ATA over Ethernet, se você quiser economizar alguns switches caros de camada 3. Esse é o protocolo do chioce para soluções de baixo custo, mas de alto desempenho, do que qualquer outro sistema de arquivos que conheço hoje. Mas não há interruptores de baunilha de 10Gb (sem comutação L3).

considere como um projeto de ferramentas POC: Ubuntu server 10.xe AOE link

link