Um terabyte de vídeo servido por hora - limites de rede?

Question

Suponha que, em uma hora de pico, haja 100.000 usuários que desejam assistir a um vídeo e que, em média, consumam 10 megabytes por visualização de vídeo. Pode ser mais, pode ser menos. Por simplicidade, digamos que 1 terabyte precise ser servido nessa hora. Isso faria uma taxa sustentada de 2222 megabits por segundo.

O vídeo não precisa ser transmitido com ferramentas específicas, planejamos usar alguns pseudostreaming nginx / lighttpd. Porque eles são caros a essa taxa, nós preferimos não usar um CDN.

Quantos servidores precisamos (apenas para o tráfego de rede), falando em termos de servidores quad core Xeon com conexão de 1 gbit / seg? Qual é o máximo em uma conexão gigabit?

Editar:

Para dar mais detalhes: nesta hora de pico, talvez haja uma dúzia de vídeos acessados. O HTML real que contém o player etc. é memcached. Nós já tivemos muito tráfego, então essa parte funciona. Nós só precisamos fazer isso com o vídeo agora sem explodir os custos.

    

Answer 1

Um único Xeon quad-core de soquete com um NIC ethernet 10Gbps baseado em PCIe x8 será capaz de fornecer facilmente esses 2.2Gbps usando Windows ou Linux sem esforço. É claro que se você tiver mais de 1Gbps de largura de banda - você se limitou a esse cenário por ter apenas 1Gbps disponíveis, então essa é a barreira que você atingirá.

O bit complexo vem se essas 100 mil exibições vierem de uma biblioteca de milhares de clipes de vídeo, já que é a parte de armazenamento que precisa acompanhar a cadeia da CPU / barramento / NIC.

Então, isso responde a essa pergunta, mas o que você precisa nos dizer agora é as métricas de armazenamento e podemos trabalhar nisso para você.

• armazenamento total
• max no. de vídeos
• min / ave / tamanho máximo dos vídeos
• idealmente codex / s usado
• memória no servidor
• a natureza dessas 100 mil reproduções - por exemplo, dividir quantos vídeos armazenados