Como construir uma rede local rápida

Question

Eu trabalho na produção de filmes e preciso de acesso MUITO rápido a arquivos muito grandes de material bruto. Atualmente, estou usando as bases eSATA 6Gbps para discos rígidos internos, que são tão rápidos quanto a unidade vai.

Se eu usasse um servidor e conectasse minhas estações de trabalho via rede, que tecnologia (relativamente acessível) me permitiria chegar perto ou exceder a velocidade da unidade?

    

Answer 1

Aqui no início de 2017, a julgar pelas informações prontamente disponíveis on-line, parece que os discos rígidos SATA mais rápidos atingem no máximo cerca de 220 megabytes / segundo, o que corresponde a 1.760 Gigabits / segundo.

Portanto, se você está apenas tentando superar a velocidade de uma única unidade, e está limitado a HDDs por considerações de custo por terabyte para grandes arquivos de vídeo, 10 Gigabit Ethernet é suficiente.

Como um aparte, note que o Thunderbolt Networking é de 10 Gigabit / seg também, então se você já tem portas Thunderbolt, pode experimentar isso. Ele poderia conseguir bater suas portas de 6 Gigabit eSATA 3, embora eu não tenha certeza disso porque o eSATA é muito específico ao armazenamento, enquanto que o armazenamento na Ethernet tem mais sobrecarga. Observe também que o Thunderbolt é um barramento de desktop; ele atinge apenas alguns metros, não os 100m que 10 Gigabit Ethernet podem suportar. Portanto, embora o Thunderbolt possa ser interessante para experimentar e criar protótipos enquanto você pesa suas opções, provavelmente não é a solução certa a longo prazo, a menos que você queira manter todas as suas estações de trabalho e discos conectados em uma grande mesa.

Então, isso foi para HDDs simples. Mas se você unir essas unidades para que cada leitura ou gravação se espalhe por várias unidades, você poderá obter um desempenho muito melhor do que o desempenho de uma única unidade. Além disso, dependendo do seu orçamento, você pode colocar SSDs PCIe / M.2 NVME em um PC para atuar como servidor / NAS e obter um desempenho de armazenamento extremamente rápido (cerca de 3,4 GigaByte / s = 27 gigabits / s) por dirigir.

Nesse caso, você pode querer olhar para algo mais rápido que 10 Gigabit Ethernet, mas olhando em volta, parece que os preços saltam drasticamente para além de 10 Gigabit Ethernet. Então, você pode querer fazer uma agregação de links em vários links de 10Gigabit. Eu também vi algumas anedotas on-line que usavam equipamentos de rede, como o material 40Gbps InfiniBand usado, podem ser comprados no eBay por preços muito baixos, se você não se importar com as dificuldades que surgem ao comprar equipamentos usados no eBay.

    

Answer 2

Se você mantiver os discos SATA, a implementação de 10Gb ethernet e a criação de um RAID10 razoavelmente dimensionado no servidor resultará em um notável aumento de desempenho além do de um único disco SATA. Esse será um investimento valioso, pois você pode compartilhar o servidor entre tantas estações de trabalho quantas forem necessárias e adicionar no futuro adicionando switches. Você precisará executar o cabo ethernet Cat-6, já que o Cat-5E não o cortará - não se esqueça de adicionar essa despesa aos seus cálculos. Você também pode adicionar SSDs como cache para acelerar ainda mais o sistema; já que você está trabalhando com imagens de vídeo, eu suponho que você precisa de grandes quantidades de espaço de armazenamento, o que seria extremamente caro para construir puramente com SSDs.

Você pode comprar um servidor de montagem em rack da Dell ou da HP e usar a placa RAID de hardware ou, se for mais uma pessoa de hardware, comprar um chassi mais barato da Supermicro e construir a máquina de armazenamento por conta própria RAID de software no Windows ou no Linux. O RAID por hardware geralmente é mais rápido quando um RAID1 está envolvido, já que o software deve gravar em cada disco e esperar que a gravação seja concluída antes de passar para a próxima operação; uma placa RAID geralmente pode gravar em ambos os discos em paralelo e armazenar em cache a operação de gravação, retornando o controle para o sistema operacional imediatamente. Observe, no entanto, que, embora um RAID0 seja ainda mais rápido, você não terá redundância e uma única falha na unidade causará perda total de dados; nunca use um RAID0 quando você tiver dados que deseja manter. Eu recomendo entrar em contato com a Dell ou a HP ou outro grande nome para ver se eles podem ajudá-lo a especificar um sistema para atender às suas necessidades.

No topo da escala, você tem Redes de Área de Armazenamento (SANs), mas elas são projetadas para permitir muitas operações de um grande número de clientes separados em paralelo; Uma vantagem disso é que o throughput é muito alto para um pequeno número de máquinas conectadas, mas é provavelmente um exagero para suas necessidades e muito caro. Na extremidade inferior, você tem dispositivos Network Attached Storage (NAS) que outros mencionaram, mas, embora seja muito mais simples que um servidor completo, eu não os recomendo, pois um NAS é freqüentemente uma caixa preta; eles são projetados para serem plug & jogar para a maioria dos usuários e, como resultado, você tem pouco controle sobre o sistema operacional - acabei de enviar de volta um pequeno NAS que comprei para o escritório de um cliente, pois ele se tornou instável após um dia de uso.

Outra vantagem de criar um servidor é que você está concentrando todas as suas imagens em um único lugar, o que torna prático e relativamente fácil fazer o backup regularmente. Nunca negligencie sua estratégia de backup; um dia você precisará depender disso!

    

Answer 3

Nada supera a flexibilidade e a facilidade de configuração do 10gbe, mas o SAS é surpreendentemente conectável em rede por si próprio:

Para um pequeno número de estações de trabalho (n < 8) onde os volumes não precisam ser graváveis de vários computadores ao mesmo tempo, o SAS funciona muito bem. Com um Tyan JBOD ($ 1,500) e um LSI HBA (US $ 400), obtemos 3.400 MB / s (27 Gbps) de transferências sustentadas para SSD. O JBOD tem um comutador interno com 3 uplinks para HBA, mas os comutadores SAS estão disponíveis para contagens de portas mais altas.

Aqui está um teste de velocidade de um dos nossos volumes:

Internamente,usamosessasoluçãocomo Windows Server em cluster executando espaços de armazenamento que são distribuídos para clientes com 10gb.

    

Answer 4

link -20-147-593 - -Product

Primeiro, o M.2 SSD que deu a placa-mãe correta pode chegar a 2gb-4gb / s, e possivelmente maior. RAID alguns destes juntos, e suas velocidades são ainda maiores.

A combinação de várias placas de rede de 10 gb pode aproximá-lo das velocidades nativas.

Qualquer coisa acima de 10g é muito mais dinheiro.

40 NIC gigabit link

    

Answer 5

Use uma placa ethernet de fibra com um switch de fibra, idealmente multimodo ou modo único com pads. Se você tem o orçamento que você pode fazer a coisa toda 10gbps, se você usar a agregação de links com uma placa de fibra de porta dupla, você pode obter 20gbps. Como o termo "relativamente acessível" muda dependendo do seu orçamento, números reais sobre o que você está disposto a gastar seriam úteis.

    

Answer 6

A maneira mais barata seria usar a agregação de link (o IE executa N cabos, normalmente 2) em vez de um.

Dessa forma, um link barato de 1 Gb se tornará um link de 2 Gb.

Obviamente, isso significa que você precisa de pelo menos 4 portas para um único servidor cliente.