Onde o youtube armazena tantos vídeos?

Question

Se quisermos fazer algo parecido com o youtube, qual deve ser a abordagem com relação ao armazenamento dos vídeos? Alguma idéia sobre o que o youtube faz?

    

Answer 1

O Google não armazena muitos dados em muitos servidores, eles criam softwares que distribuem a carga e o armazenamento automaticamente, enquanto se recuperam de falhas de hardware de forma transparente (como BigTable e Map / Reduce).

A alternativa é: uma. Você usa a infraestrutura de outra pessoa (Amazon S3, Akami) b. Você usa produtos de fornecedores de armazenamento caros (NetApp) c. Você escreve seu próprio sistema similar ao do Google

O Facebook mudou recentemente de uma combinação de A e B para C para o armazenamento de fotos à medida que crescia para proporções incontroláveis.

    

Answer 2

Redes de distribuição de conteúdo (grandes grupos de servidores em locais geograficamente distintos) são a chave para qualquer aplicativo em escala de web intensiva de dados e / ou tráfego.

    

Answer 3

Depende se você insistir em armazenar e distribuir esses arquivos por conta própria.

Se você não precisa administrar isso sozinho, existem muitas redes de distribuição de conteúdo (akamai, etc.) que armazenam e reenviam seus arquivos para você, geralmente são geograficamente dispersas e têm excelente resiliência. Seu site simplesmente precisaria apontar para esses arquivos para permitir que seus usuários os acessassem, então seu trabalho seria essencialmente feito.

Se você precisar armazenar e distribuir esses arquivos por conta própria, no mínimo precisará de um grande bloco de armazenamento rápido e resiliente (como um SAN / NAS grande da EMC / HP / NetApp etc.), servidores sintonizados para entregar vídeo (minha especialidade pessoal :)) e alguns grandes balanceadores de carga em cache como o ZXTM da Zeus. É claro que neste ponto você tem um único ponto de falha (o data center), portanto, se o tempo de atividade for importante, você deve considerar um ou mais datacenters adicionais e distribuir seus dados e carregá-los.

Boa sorte.

    

Answer 4

Sim - compre muitos discos rígidos e servidores: P

    

Answer 5

Eu provavelmente os armazenaria usando muitos servidores com algo como mogileFS . Dessa forma, cada arquivo é armazenado em mais de um servidor, portanto, um servidor com falha não perderá seus dados.

Encha-os com drives de 2 TB de baixa potência.

Você precisará ser cuidadoso ao tentar armazenar arquivos grandes e não usar perlbal como seu mogstored, mas funcionará. Você também pode dividir os arquivos grandes em vários pedaços grandes como o mogilefs gosta de fazer, mas apenas manter grandes arquivos é mais fácil em seu código de cliente.

    

Answer 6

Estou correndo para obter um "+1 engraçado", então:

Where does youtube store so many videos?

Se não estiver na nuvem, em discos.