Sistema de armazenamento recomendado para servidor de streaming de vídeo [fechado]

Question

Estou desenvolvendo um sistema de vigilância por vídeo que grava e transmite muitos fluxos de vídeo de muitas câmeras IP remotas.

Um servidor seria executado em uma máquina que lida com cerca de 500 fluxos de vídeo (250kbps por fluxo de vídeo). Um servidor seria uma parte do grande farm de servidores que é controlado por um servidor simples (sem importância aqui).

Agora, eu sou um engenheiro de software e eles me encarregaram de encontrar o hardware certo para executar meus servidores ... E eu não tenho a menor ideia do que preciso!

1. Posso instalar o Linux e configurar alguns HDDs rápidos em RAID e posso ter os mesmos desempenhos de algumas soluções caras de armazenamento?

2. Quantas CPUs eu preciso, placa-mãe, outras?

3. Qual é a melhor marca de HDDs para isso?

4. Existe resfriamento por água para HDDs?

Desculpe por fazer perguntas estúpidas, mas eu estou escrevendo software, eu uso o PC e esse é o todos os detalhes de hardware que eu preciso saber no meu trabalho ... : )

    

Answer 1

1.Can I install linux and configure a couple of fast HDDs in RAID and can I have the same performances as some expensive storage solution?

Não. Eu iria pelo menos com um controlador de RAID de hardware decente (Adaptec é a minha aposta). A principal razão é que sua instalação no Linux é um problema simplesmente porque falta hardware otimizado. Ou seja: você não pode usar com segurança o cache de write-back, porque se a energia falhar, os discos podem ser malucos. Você pode fazê-lo em um Adaptec 5805Z ou um 5805 com BBU porque se a energia falhar, o cache de bordo é seguro (por algum tempo ou mais - a BBU funciona 2 dias, o modelo Z grava os dados em um módulo flash). Tecnicamente, btw., Isso eu ainda estou executando o Linux (no controlador).

2.How many CPUs do I need, motherboard, other?

Bastante irrelevante. Você não está ligado à CPU, a menos que faça compressão. Qualquer CPU deve ser suficiente, até mesmo um ATOM. Novamente, a menos que você faça muito mais do que apenas passar os fluxos através do disco, você provavelmente não terá um problema de CPU.

3.What is the best brand of HDDs for this?

Western Digital. Mais específico: Velociraptors, se você precisar de desempenho decente por um preço decente. A única unidade de 10k RPM com um drive SAS muito mais caro. Dependendo da sua necessidade de IO, você pode se safar com unidades maiores e mais lentas. Isso tem que ser testado e depende muito da sua codificação.

Obtenha um servidor de SuperMicro - 2 unidades de rack de alta, coloque para 24 discos rígidos (fator de forma 2.5). Muito espaço para expandir. Eu possivelmente começaria com 8 discos em uma configuração RAID 10. Várias gaiolas podem ser escravizadas umas às outras. Requer um controlador SAS RAID (como o acima mencionado Adaptecs).

4.Does water cooling exist for HDDs?

Sim, mas é totalmente irrelevante para o servidor. Isto é principalmente para o osmoen fazer um PC silencioso com watercooling total e querer livrar-se do calor HD sem ventoinha.

    

Answer 2

Retiro minha resposta original, pois confundi 125 Megabits com 125 Gigabits. Que vergonha.

Mas, claro, isso torna tudo um pouco mais fácil :)

Então, para suas perguntas:

1. Classificar de. Você pode obter um desempenho muito bom, que deve ser mais do que suficiente para este caso. Eu recomendaria usar o maior número possível de discos, e possivelmente um controlador RAID de hardware. Isso permite, entre outras vantagens, o hotswapping fácil de discos quebrados sem problemas do sistema operacional. E BTW, obter um caso com baias de unidade hotswappable.

2. Isso depende principalmente do que você deseja fazer. Uma placa-mãe de classe de servidor com dois soquetes para CPUS de 4 núcleos e CPUs apropriadas deve fazer o truque apenas para armazenamento. Eu recomendaria muita memória RAM, no entanto, para ter um buffer para quando, por qualquer motivo, a gravação no disco parasse por um curto período de tempo. Pense pelo menos 16 ou 24GB.

3. O tempo de acesso é importante neste cenário, portanto, você deve optar por HDs de nível de servidor com pelo menos 10k RPM ou melhor, talvez até 15k. A capacidade depende de quanto tempo você deseja manter os dados (com um total de 125 Mega bits / s para seu fluxo, você fica com cerca de 50 GB / hora).

4. Por que resfriamento a água? Não conheço nenhum sistema que ofereça refrigeração a água para baias de unidades hotswappable.

Answer 3

Por quanto tempo você precisa manter as gravações?

Você empurrará aproximadamente 16 MB por segundo, ou 1,25 TB por dia.

Sua matriz de disco precisará ser grande, não muito rápida. Se o seu software de gravação mantiver um pouco de memória, você nem terá muitos iops. Eu posso ver facilmente uma invasão de software linux como você menciona lidar com essa carga, especialmente se você der um par GB de memória RAM para buffer. Isso pressupõe software decente.

Se você não está transcodificando o vídeo para um formato diferente, você não precisará de muita CPU para isso, qualquer intel / amd moderno serve. Você precisará de uma rede gigabit.

A marca é difícil de responder, eu teria alguma redundância (raid5) e compraria discos SATA baratos de qualquer marca respeitável.

Para resfriamento (e confiabilidade), eu recebo um chassi que armazena o número necessário de discos. O chassi fornecerá o fluxo de ar necessário para manter os discos resfriados. Com as informações atuais, vejo pouca necessidade de ir ao watercooling.

    

Answer 4

Eu sugiro perguntar a esses caras do MIT: link

O Projeto Human Speechome registrou 3 anos com 11 câmeras de alta qualidade e 14 microfones em uma casa. Havia uma matriz de disco de 5 TB na casa com um cluster de 10 nós. Após a compactação de 300 GB acumulados por dia. Periodicamente, os dados eram transferidos para o farm de servidores do MIT por meio de drives portáteis.

Você tem cerca de 100 vezes mais feeds de vídeo do que eles tinham, mas eles ainda poderiam ter informações importantes que você pode obter por meio de uma rápida conversa por e-mail. Seu hardware é mais de 5 e 1/2 anos de idade.

Aqui está uma palestra de 20 minutos sobre o projeto: link (se tiver pouco tempo, vá até o ponto 1m 00s e observe por alguns minutos).

Publicação: link