Intranet de largura de banda pesada

Question

Somos um estúdio de animação e temos uma intranet que precisa constantemente mover arquivos grandes (2 GB +) pela rede. Nós temos a seguinte configuração:

Três switches não gerenciados da porta Netgear 24. Interruptor 1 conectado ao Interruptor 2 conectado ao Interruptor 3 e Interruptor 3 conectado ao roteador. Existe um NAS conectado ao Switch 2.

50 PCs conectados a vários switches. 20 estações de trabalho e 30 nós de renderização.

As coisas funcionam bem até enviarmos um trabalho de renderização. Quando fazemos isso, cerca de 30 máquinas tentam copiar o mesmo arquivo do NAS de uma vez e a rede fica lenta para rastrear.

Os switches gerenciados estão fora do orçamento. A atualização para dois switches empilhados não gerenciados de 48 portas pode ser viável.

Eu tenho as seguintes perguntas:

1. A maneira como conectei os switches está incorreta? O Switch 1 e o Switch 2 devem se conectar ao Switch 3?
2. A mudança para dois switches não gerenciados de 48 portas alivia esse congestionamento?
3. Os dispositivos de 100 Mbps nos comutadores afetam a conectividade GB de outros dispositivos no comutador GB?
4. Existe uma maneira de dividir a rede. Digamos que tenha 20 PCs, um NAS em um switch e 20 PCs, um segundo NAS no outro switch, caso o NAS seja o gargalo. Nesse caso, devo conectar os dois switches ao roteador? Eles ainda poderão ver um ao outro? O roteador é um roteador padrão fornecido pelo ISP.
5. A largura de banda não é suficiente para esse tipo de trabalho?

Obrigado pela ajuda. Este material de rede é realmente confuso ...

    

Answer 1

Lamento dizer, mas ALGUMAS das coisas que você diz não fazem sentido algum. Mesmo. Você praticamente tem que ser uma empresa norte-coreana para fazer sentido.

50 PC's connected to the various switches. 20 workstations and 30 render nodes.

E:

Managed switches are out of the budget

Realmente. Você pode pagar 20 pessoas trabalhando, além de todas as licenças, e falta o dinheiro para um switch gerenciado, que está em uma faixa de cerca de ... 100 USD por cada uma das suas estações de trabalho. Gratulações Como eu disse - faz sentido quando você é uma empresa norte-coreana onde seus funcionários ganham 1,5 dólares por hora. Switches gerenciados não são tão caros. Especialmente se você precisar deles.

Ok, aqui vamos nós.

• É muito melhor executar tudo de um único switch
• Ir para um switch de 48 portas com a capacidade de mostrar 1-2 uplinks de 10 gbit.
• Anexe sua infraestrutura de armazenamento às portas de 10 gbits.

Sem dinheiro? Más notícias - sem sorte.

Verifique também se você realmente pode alimentar 1gbyte de dados do armazenamento, o que é outra coisa de orçamento. Depende do layout de hardware e disco que desempenho você realmente pode obter dos discos.

De qualquer forma, seu problema é duplo. Primeiro, 1gbit é aproximadamente 100mbyte por segundo. Isso soa bem (20 segundos para um arquivo de 2GB), mas se 30 nós puxarem, isso é multiplicado por 30 porque você TAMBÉM tem 1gbit para o armazenamento. Gargalo, aqui vamos nós. Segundo, tudo, desde o Switch 1 até o Switch 2, também passa pelo gargalo de 1gbit.

Quando você move essa quantidade de coisas, você simplesmente PRECISA de muito mais largura de banda no armazenamento do que nas estações de trabalho. 10gbit aqui permitem que você basicamente tenha apenas uma redução de fator 3 quando os nós puxam, ao invés de um fator de 30.

Este é praticamente um item de requisitos que não atendem à realidade - com uma rede de 1gbit copiando 2gbx30 = 60gb de dados em torno do IS vai demorar muito, e você basicamente faz o tunelamento através de uma conexão de 1gbit, então o swithcing não dar-lhe largura de banda adicional. Portanto, obtenha um orçamento, faça upgrade para um equipamento que seja bom o suficiente para o que você deseja fazer e, em seguida, os problemas desaparecerão. No entanto, este é um dos maiores problemas - alguém deveria ter orçado ao planejar 30 nós de renderização.

    

Answer 2

Minha leitura é que o NAS é o principal gargalo. 30 nós puxando o mesmo arquivo (presumivelmente grande) é uma ótima maneira de saturar totalmente o link de rede do NAS para qualquer coisa que o atinja. Eu imagino que quando os nós de Renderização terminam, eles enviam seus trabalhos concluídos para o NAS, o que provavelmente também causa suas próprias lentidões. Um gargalo adicional provavelmente está na configuração do seu switch.

Switch 1 -> Switch 2 (NAS) -> Switch 3 -> [Router] -> Internet

A menos que o seu roteador seja mais do que um roteador SOHO normal, você poderá fazer isso sem nenhum custo:

Switch 1 ->  [          ]
switch 2 ->  [  router  ] -> Internet
Switch 3 ->  [          ]

Isso por si só pode ajudar o seu problema, e a melhor parte é que não custa nada além de um pouco de tempo de inatividade.

Você realmente deseja ter seus nós de renderização e NAS no mesmo switch, se possível. Como você tem 30 nós de renderização, não é possível colocar todos eles e o NAS no mesmo switch com sua configuração atual, portanto, será necessário um novo hardware. Você pode ajudar a aliviar o estresse em seus uplinks, indo com switches empilháveis como você disse. Isso deve fornecer melhor largura de banda entre os switches. Ambas as etapas devem deixar suas portas de uplink menos saturadas, embora isso não afete a carga no NAS.

30 nós que puxam arquivos em uma taxa alta podem saturar totalmente 1 GbE, então consertar isso requer uma das várias etapas:

• Conectando várias NICs no NAS, mas isso requer switches gerenciados
• Usando uma segunda porta de rede no NAS como um ponto de compartilhamento dedicado para os nós de renderização. A rede ainda irá atolar para eles, mas o uso normal de outra rede não deve ser terrivelmente afetado (disco I / O suportando)
• Como obter um segundo dispositivo NAS para uso geral em escritório.

Answer 3

Talvez você possa alternar para algo como lança-chamas, o programa de distribuição de arquivos multicast, para evitar que você tenha que enviar 60 GB ( 2 a 30 máquinas) e, em vez disso, envia 2 GB pela rede ...

Se isso não for uma opção, você provavelmente terá que atualizar os gargalos na sua rede. Pela sua descrição, parece que o NAS é o principal gargalo, então sua primeira necessidade será ver se você pode unir várias interfaces. Isso depende do NAS. Um switch de 48 portas terá uma largura de banda de backplane muito alta, mas não importa se é 40Gbps se o seu NAS for o ponto de estrangulamento a 1Gbps.

Se você tiver dois switches conectados a outro switch por meio de links de 1 Gbps, isso será um ponto de estrangulamento. Então, indo até um switch de 48 portas e obtendo tanta coisa nele ajudará a remover esses pontos de estrangulamento.

Além disso, talvez você possa usar um sistema de arquivos paralelo e distribuído como o PVFS? Pense nisso como um sistema de arquivos bittorrent, onde muitas máquinas compartilham a carga de distribuição do arquivo, em vez do único NAS central. Dessa forma, o NAS não se torna o gargalo.

    

Answer 4

Definitivamente faria sentido lidar com isso de uma perspectiva de software, bem como uma perspectiva de hardware. Tenho certeza que você pode encontrar o software lá fora que irá multicast o arquivo para as máquinas de renderização.

    

Answer 5

Grandes respostas dos outros aqui. Você deve ter o suficiente para lhe dar todas as idéias que precisa. No entanto, aqui estão alguns pensamentos fora da caixa:

1. Configure um rastreador de bit-torrent local em sua rede (visível apenas para sua rede) e compartilhe seus arquivos grandes entre suas estações de trabalho via bittorrent.

2. Todas as estações de renderização precisam de todos os arquivos? Caso contrário, compartilhe partes dos arquivos. Divida seus arquivos grandes em partes menores ou forneça seus arquivos com um servidor HTTP que entenda solicitações de intervalo e faça com que seus clientes baixem apenas os intervalos de bytes necessários.

Answer 6

Uma solução peer to peer como o aerofs pode ajudá-lo. Todo mundo é um servidor de arquivos! : -)

    

Answer 7

Aqui está o que eu faria.

1 - Tome uma medida básica de desempenho.

2 - Corrija sua configuração atual (veja abaixo) adicionando um novo switch.

PC’s-->[ SW1 ]-->[          ]   
                 [          ]   
                 [          ]   
PC’s-->[ SW2 ]-->[  SW New  ]-------------->[ Router ]
                 [          ]   
                 [          ]   
PC’s-->[ SW3 ]-->[          ]--->NAS

3 - Faça uma nova medição.

4 - Instale o software que envia (multicasts) o arquivo do NAS para o PC. (veja o post de Sean)

5 - Faça uma nova medição.

Em cada ponto de medição, execute o mesmo teste várias vezes.

Além disso, se você puder nos informar o Modelo / Mfg. do NAS, poderemos fornecer outras respostas.