solução para armazenar 10TB / mês

7

Estou trabalhando em uma pequena empresa de TV. Eles geram 11 TB de arquivos de vídeo por mês.

O que posso fazer? Eu só preciso de discos SATA comuns, em RAID. Qual solução devo comprar?

(Eles estão usando muito o Iomega NAS)

    
por Galleta 06.02.2011 / 00:13

6 respostas

12

Hmmm

"Ad infinitum expandido" me assusta. Você realmente precisa de cada segundo de filme online e depois? Você pode considerar o armazenamento hierárquico? Armazenamento rápido para material recente / altamente usado; maior capacidade de armazenamento para coisas que você precisa, mas não tira os dedos ali; e por último fita ou algo semelhante para arquivar dados antigos?

Quanto às opções reais, como são seus orçamentos? Vou sugerir coisas da linha Dell porque é com isso que estou mais familiarizado, mas todos os fornecedores de servidores de primeira linha terão seus próprios produtos nos mesmos pontos, mas eu não estou tão familiarizado com eles e você precisa de conselhos , não uma longa lista de modelos de unidades.

Eu gosto da gama Equallogic da Dell, se você quiser publicar esses dados em mais de um servidor, e eles vêm em um número de opções que podem oferecer um nível de armazenamento rápido e um nível de maior capacidade mais lento e, claro, você pode comprar um biblioteca de fitas de qualquer tamanho que você também goste da Dell para o nível de arquivamento.

Se você deseja publicar apenas essas informações em um servidor, considere a opção de armazenamento conectado diretamente - bancos de discos que podem ser conectados a um servidor. Mais uma vez da gama Dell eu sei que você estaria falando sobre o gama PowerVault

Como eu disse anteriormente, eu não estou sugerindo que você tenha que comprar a Dell, eu não trabalho para eles e não estou esperando por eles - é só que usamos muitas coisas deles e eu sei disso bem. Você pode olhar para a HP, Sun / Oracle, IBM e todos eles terão faixas de produtos semelhantes nos mesmos níveis, e há muitas empresas por aí que também se especializam em armazenamento. Mas deixar o uso do arquivo crescer sem gerenciá-lo assim é uma receita para o desastre.

Eu sei que você provavelmente está sendo informado de que eles precisam de tudo instantaneamente disponível, e que você precisa fazer isso mais barato, eu entendo as pressões. Mas tentar gerenciar dados como esse sem uma estratégia de gerenciamento é pedir a lua em uma vara e isso simplesmente não funcionará.

    
por 06.02.2011 / 00:42
7

Eu trabalho para uma empresa de transmissão e vamos gerar MUITOS dados de vídeo / áudio por mês. Nossa solução foi 2 Hitachi SAN, um mais rápido (FC) e um mais lento (SATA) com muito cache (cache de 256GB). Esperamos que seja esgotado em 3 anos. Sim, o vídeo HD é uma merda.

Temos um sistema de gerenciamento que lida com todo o ciclo de vida do conteúdo e o transporta de armazenamento mais rápido (online) para armazenamento mais lento (near line) e finalmente arquivado em fita (há muitos metadados envolvidos para rapidamente e facilmente encontrar o conteúdo no arquivo mais tarde). Temos uma (expansível) biblioteca de fitas LTO 4 1000 para arquivamento.

Isso é uma coisa que você deve ter em mente. Você realmente só precisa de acesso rápido / espaço a um tempo determinado de sua programação. Diga, o último mês. Isso será filmagem bruta vinda de equipes de notícias, programas de estúdio gravados, gravações de shows ao vivo, além de produções externas (material sindicado, anúncios, etc.). Esse é o conteúdo que vai para os playouts e edição e por isso deve ser de acesso rápido (SAN conectado a MACs onde a edição é feita, por exemplo).

Após o material ser exibido, você pode (e deve) movê-lo para uma coleção / arquivo (não sei o termo correto em inglês), provavelmente em fita. Se uma determinada parte, notícias ou programação for necessária mais tarde, reintroduza-a no armazenamento mais rápido para uso e remova-a depois que tudo estiver pronto.

Espero que minha experiência pessoal ajude.

    
por 06.02.2011 / 07:43
4

Se você está procurando uma solução comercial, o Isilon é uma das soluções mais baratas e deve atender às suas necessidades com facilidade. Seu produto é uma solução de clustering. Você cria um cluster de armazenamento com mais de 3 nós. Cada nó tem um monte de discos, e a tolerância a falhas é personalizável onde você pode perder um nó e / ou vários discos e ainda estar operacional. Você simplesmente expande adicionando um novo nó ou um disk-pack externo aos nós existentes. Muito simples e fácil de trabalhar.

Depois disso, eu vejo a NetApp como vice-campeã. Eles são um pouco mais caros, mas seus produtos oferecem mais recursos e desempenho do que o Isilon.

    
por 06.02.2011 / 00:26
4

Suponho que isso seja um dado de vídeo, o que significa que a compactação e a desduplicação não lhe renderão nada. Eu também suponho que você tenha decidido que os grandes fornecedores de SAN / NAS comerciais à prova de balas são muito caros. Se tudo precisa estar online e na LAN rápida (e não em um serviço de nuvem, que eu presumo que você tenha olhado):

Sua opção mais econômica será algo como esse chassi de disco SuperMicro de 45 compartimentos recheado com unidades de 3 TB. Isso é 135 TB cru em 4U e < 1500 watts. Você pode continuar comprando semelhante conforme necessário, adicionando-os a front-ends existentes do servidor de arquivos, conforme necessário. RAID 6 através de bons controladores de hardware LSI, em vez de software, se você puder pagar - leia o "buraco de gravação de invasão 5" e tenha medo de ataque de paridade de software.

À medida que a densidade de armazenamento melhora, é possível migrar dados de caixas de armazenamento mais antigas para as mais recentes, mantendo a ocupação do servidor razoavelmente constante a longo prazo. Use discos SATA de fita ou removíveis para armazenamento externo, pois é a única maneira econômica de fazer o backup de tantos dados.

Você estará comprando uma unidade de 135 TB (com unidades) a cada seis meses para contabilizar o RAID e a sobrecarga do sistema de arquivos. Você também precisará de um servidor de arquivos front-end adicional de vez em quando. E alimentar e resfriar todos eles 24 horas por dia, 7 dias por semana, substituindo as unidades com falha e aplicando seu próprio software de gerenciamento. Talvez você possa usar o OpenStack para criar seu próprio armazenamento em nuvem interno nessas caixas ou viver perigosamente e arriscar tudo em alguns dos sistemas de arquivos em cluster de software livre. Você provavelmente precisará de dois ou mais corpos em tempo integral gerenciando tudo isso.

A nuvem parece melhor e melhor, não é? Se os dados devem ser locais e on-line, eu seriamente olhar para redução de dados ... depois de um mês ou mais, recodificar todos os seus fluxos (presumivelmente transmissão MPEG-2) em vídeo VBR H.264 a uma taxa de bits muito menor . O X264 com '--crf 23' está próximo do transparente e metade ou menos da taxa de bits da maioria dos fluxos MPEG2 transmitidos. Quando apresentados com os custos, eu suspeito que o gerenciamento simplesmente viverá com dados mais antigos que X dias sendo off-line em discos ou fitas SATA removíveis.

    
por 06.02.2011 / 06:39
3

Se você tiver tempo para se preparar, os caras do Backblaze terão uma boa descrição de como eles criam seus pods de armazenamento: link

    
por 06.02.2011 / 00:21
2

Verifique o GlusterFS : capacidade de expansão de muitos petabytes, baixo custo por gigabyte, console de gerenciamento, blocos de armazenamento semelhantes a um aparelho, nível de replicação configurável, tão rápido quanto sua rede permite, código aberto, etc. Toda a enchilada.

    
por 06.02.2011 / 15:24

Tags