Como os serviços com grandes taxas de inclusão instalam discos rígidos suficientes com rapidez suficiente?

Question

Amazon, Facebook e Google devem receber TBs se não PBs por dia, então isso significa que eles têm pessoas instalando continuamente novos discos rígidos e cabos em novos racks da mesma maneira que você pode construir um servidor comum, ou existe tecnologia diferente usada para conectar unidades em massa?

    

Answer 1

Não sei se algum deles está realmente instalando um servidor de hardware por vez. Em 2008 , o MS começou a construir seus centros de dados obtendo servidores entregues em contêineres de remessa selados e pré-fiados de servidores que precisavam apenas descarregar de um caminhão e conectar conexões de energia / rede. Embora a versão 08 tenha sido uma mistura de contêineres e tradicional para o mais recente datacenter eles já foram para um design pré-fabricado personalizado que é à prova de intempéries e não precisa ser alojado dentro de prédios separados.

Ambas as HP e IBM vendem pacotes semelhantes com contêineres pré-construídos cheios de servidores que precisam conexões de energia / dados para implantar.

    

Answer 2

O Google tem várias tecnologias desenvolvidas internamente para armazenar essas enormes massas de dados. Usando essas tecnologias, eles podem realmente adicionar cargas de caminhões de discos rígidos em seus clusters sem qualquer tempo de inatividade, mas sim, eles ainda precisam de pessoas fazendo isso.

Até onde eu sei do Blog do Google, as duas partes principais são o Sistema de Arquivos do Google, que é um sistema de arquivos distribuídos que pode escalar em grande escala: Sistema de arquivos do Google

E, além do Google File System, eles têm a Big Table, que é um tipo de banco de dados Key Value e também se transforma em grandes escalas: Mesa Grande

Por garantir alta disponibilidade, tudo é redundante muitas vezes, mais de 3 vezes na maioria dos casos.

    

Answer 3

Isso é precisamente correto. Lembro-me de que, ao mesmo tempo, os datacenters do Facebook estavam adicionando três trailers de discos rígidos e servidores de montagem em rack em um dia comum. Claro, eles têm esquemas complicados para tornar o armazenamento escalável e redundante. O Google, por exemplo, tem GFS . O Facebook tem três data centers apenas para seus equipamentos, cada um maior que dois Wal-Marts e um novo planejado quatro vezes maior que os centros existentes.

    

Answer 4

Com soluções de armazenamento Open Compute de nova geração capazes de acomodar 180 TB de disco em 4 unidades de rack, um PB não é realmente uma grande quantidade de espaço: adicionar 1 PB por dia significaria 5 servidores por dia, não um grande problema. Melhor ainda, eles podem ser adquiridos por cerca de US $ 10 mil, o que significa que você está pagando menos de US $ 60 por TB.

Então, sim, a tecnologia está disponível para todos nós fazermos o mesmo, a um preço que não atrapalha o banco.

Mas você deve ter em mente que as empresas maiores sempre obtêm um melhor negócio e assinam grandes contratos para obter grandes quantidades de armazenamento. Eles podem ter pequenas remessas espalhadas ao longo do ano, mas não é como se encomendassem apenas 1 PB de cada vez.

    

Answer 5

Aqui está uma postagem interessante do BackBlaze sobre como eles fazem isso (eles provavelmente não precisam de tantos discos quanto o Google ou o Facebook, mas ainda assim um lt), e o que eles precisavam fazer quando havia enchentes na Tailândia que tornou o disco rígido caro e mais difícil de obter:

link