Como o FaceBook constrói servidores com mais de 12 discos rígidos?

4

De Blog do FB :

... is deployed on top of commodity storage blades. The typical hardware configuration of a 2U storage blade is –

  • 2 x quad-core CPUs
  • 16GB – 32GB memory
  • hardware raid controller with 256MB – 512MB of NVRAM cache
  • 12+ 1TB SATA drives

Alguém pode me dizer exatamente quais partes eles usam?

Eu sei que você pode obter placas-mãe que podem levar 2 CPUs, posso obter placas-mãe que podem conter 16 GB de memória ram, mas como eu conecto 12 unidades?

    
por 6 revs, 5 users 88%user11278 22.09.2016 / 01:42

7 respostas

6

doze unidades de 1 TB? amendoins, pense GRANDE! :)

Texas Memory Systems launches the RamSan-6200 SSD System that offers up to 100 terabytes of Flash-based storage in a 40U rack configuration that can sustain a record 5 million input/outputs per second (IOPS) with 60 gigabytes per second throughput while using a little over 6 kilowatts of power.

tudoissoporumpreçoenormedeUS$4,4milhões,vocêmeouviu,PapaiNoel?:)

(talvezRAMinSANeseriaumnomemelhor)

massevocêestábemcomapenas12drives,vocêteráumbomSATA12DriveEnclosurecomController(velocidade>500MB/s)porcercade$1.000

    
por 15.12.2011 / 08:18
5

Eu odeio desenterrar uma pergunta tão antiga, mas essas respostas precisam de ajuda. Existem vários casos 2U diferentes que apresentam compartimentos hot swap de 12x3.5 "(3 verticalmente x 4 horizontalmente - Veja SC826 do Supermicro), e até mesmo alguns que também possuem um compartimento interno ou dois ( link ). É denso, mas não impossível. Se você quiser obter um um pouco louco, o SC847 da Supermicro suporta 45 compartimentos hot swap em 4U (sem placa-mãe) ou 36 com placa-mãe E-ATX, e alguém faz um case (o RMC5D2) com 48 compartimentos hot swap verticais com espaço para placa E-ATX e eu acho 7 cartões de tamanho normal em 5U.

Acredito que isso seja para o sistema Haystack do Facebook para fotos, onde eles usam um controlador RAID 6 para conecte as 12 unidades em um servidor de montagem em rack 2U. Você pode comprar um modelo de baixo perfil que ainda suporte 12 unidades ou use uma placa riser. Como parte de seu arquivamento do IPO em 2012 , eles revelaram que estão armazenando "mais de 100 petabytes" de fotos e vídeos. Mesmo com os novos drives de 4 e 6 TB, existem muitas dessas máquinas.

O Facebook também usa um sistema 100+ PB Hadoop para analisar tudo o que acontece no site (vários TB / dia). Ele ignora os arrays de disco RAID e torna a máquina inteira redundante, dividindo arquivos grandes em blocos de 64 MB e gravando cada parte em várias máquinas. Para isso você pode obter uma placa-mãe com 8 portas e adicionar 4 portas não-RAID. Tenho certeza de que essas máquinas não têm tantos drives, mas a tecnologia é baseada em coisas que o Google está fazendo. O Google possui racks de 12 unidades livres de RAID e muitos designs de computador interessantes. Eles são quase grandes o suficiente para peças personalizadas serem uma ordem de volume de hardware de commodity.

Você pode assistir a um vídeo nos diferentes tipos de servidores do Facebook aqui .

O Facebook recentemente revelou o sistema de armazenamento Open Vault, que suporta 30 unidades em um Open Rack de 2U (mesma largura geral do gabinete, mas 21 "wide internally vs standard 19"). Existem 2 bandejas 1U individuais que saem do chassi, cada uma com 15 unidades (5 de largura x 3 de profundidade) e 2 expansores SAS. Um vídeo no YouTube mostra um sistema em que cada uma das 30 baias de 3,5 "foram preenchidas com SSDs de 2x2,5", o que proporcionará um sério poder de IO quando combinado com o 12G SAS. De acordo com os fabricantes de SSD, uma única unidade poderia suportar 5 milhões de IOPS. Um gabinete completo suportaria mais de 90 milhões de IOPS e 170 GB / s de largura de banda (interface limitada) e 1 PB de armazenamento SSD (até 3,2 PB de disco giratório cheio de hélio). Se você está apenas olhando para usá-lo para um NAS realmente doce, há um servidor Open Compute que usa o Open Vault com placas de servidor ARM dentro.

Ainda mais interessante é que o Facebook está testando o Blu-ray para armazenamento a frio (os dados não são acessados muito, se é que alguma vez). Seu sistema protótipo tem 10.368 discos que possuem 100GB cada e armazena cerca de 1 PB de dados. Eles têm um selecionador robótico que acessa os discos de um rack que comporta 24 revistas, com 36 cartuchos por revista e 12 discos por cartucho. Uma vez que os bugs e os recursos tenham sido ajustados, espero que o trocador de Blu-ray de 10.000 discos seja parte do Open Compute Project.

    
por 25.04.2014 / 06:52
2

Acho que o post original do FB é um pouco enganador. Se eles estiverem usando blades de armazenamento, eles serão projetados para se conectar a matrizes de armazenamento externas. O próprio blade executaria o Windows Storage Server, por exemplo, mas você não armazenaria seus dados nesse blade. Você conectaria um array SAN 2U a esse blade e esse array poderia conter 12 compartimentos hotswap em 3,5 "ou 24 baias a 2,5".

    
por 16.09.2009 / 03:11
1

Eu trabalho com vídeo e como não havia drives de 1 TB e acima de 3 anos atrás, procurei uma solução semelhante à sua. Você precisa ter um controlador RAID interno ou externo para o que você deseja. Eu encontrei uma empresa que lida com essas coisas, e é (pelo menos para mim) uma espécie de paraíso para criar sistemas de armazenamento ENORMES por um preço aceitável.

link

Por exemplo:

link

    
por 16.09.2009 / 12:36
0

Veja os servidores 1U, 2U 3U 4U, aqueles que se encaixam em rack na sala de servidores.

como os link

Você pode ver os servidores Dell, HP, IBM e muito mais.

Eles podem suportar cerca de 8 discos rígidos, um pouco mais.

    
por 16.09.2009 / 02:11
0

Conectar 12+ discos a uma máquina não é difícil - você tem um controlador RAID com mais de 12 portas SATA ou você usa expansores SATA ou um controlador RAID SAS.

A dificuldade é de encaixar fisicamente 12 unidades de 3,5 polegadas em 2U; Não tenho certeza se você pode transformar uma unidade vertical de 3,5 polegadas com apenas 2U, e você não vai encaixar 12 unidades em 2U sem fazer isso ou enterrar alguns discos na caixa (tornando-os não hot-removíveis). / p>     

por 16.09.2009 / 02:16
0

Como outros já mencionaram, existem muitas opções diferentes para caber 12 drives de 1 TB em 2U. Enquanto unidades de 3,5 polegadas têm que ser horizontais para caber nesse espaço, unidades de 2,5 polegadas, como o Western Digital Scorpio Blue WD10TPVT caberá em 2U na vertical. Você pode obter um chassi com base em Supermicro S216 para fazer até 24 unidades de 2,5 polegadas em 2U, junto com dois controladores de ataque sata de 12 portas (como este 3ware 9550SXU-12 ) para conectá-los todos.

    
por 15.10.2010 / 21:40