Geral Conselhos sobre uma solução de arquivo. ~ 15tb e crescendo.

Question

Eu preciso de um melhor sistema de armazenamento e arquivamento para os arquivos da minha pequena empresa. Especificamente, os arquivos são projetos de vídeo concluídos. Além das limitações de tempo e custo, o que me impede é que não acredito em nenhuma das soluções que ponderei. Portanto, estou expondo o problema e os meus pensamentos. Eu apreciaria quaisquer opiniões.

Orçamento: Eu acredito em gastar o que é preciso. Dito isto, somos um pequeno negócio. Espero que eu possa sair disso por < 5k e mais por volta de 1-3k. Isso pode ser um sonho. Apenas me diga isso.

O problema:

• Os arquivos de vídeo brutos são enormes no tamanho do arquivo. Nós acumulamos provavelmente 10 + tb até agora e isso está crescendo rapidamente.
• A edição de vídeo requer acesso rápido de leitura / gravação aos arquivos para que um servidor de arquivos central ou baseado em nuvem não seja rápido o suficiente. Portanto, provavelmente, precisamos de uma solução para projetos antigos e os projetos atuais terão que permanecer locais.
• Queremos algum tipo de solução de redundância e offsite.

O que fazemos atualmente:

• Usamos discos rígidos externos grandes e de alta qualidade.
• Sempre compramos em pares e duplicamos manualmente o conteúdo. Em outras palavras, trabalhamos em um deles e duplicamos os arquivos para o outro, que serve como backup / fallback.
• Esses HDs são rápidos o suficiente com firewire800 ou USB3 para funcionar diretamente.
• Uma vez preenchido, colocamos o par de lado.

O que há de errado com a solução atual:

• Embora os dados sejam duplicados em duas unidades, essas unidades não são "armazenadas em backup" ou armazenadas externamente.
• A organização em todos esses HDs externos é difícil. Qual projeto está em qual unidade? etc.
• Eventualmente, teremos uma quantidade ridícula de discos rígidos.
• A duplicação não é RAID.

Opções:

Um servidor local

• Compre um servidor de montagem em rack e um gabinete de matriz de disco rígido montado em rack, como um Norco, (SAS) (20 compartimentos).
• Todos os arquivos de vídeo seriam armazenados neste servidor. Poderíamos instalar e pagar um serviço de nuvem para fazer o backup desse computador / servidor. O CrashPlan funciona no Linux e não tem limites quanto à quantidade de dados. Os discos rígidos seriam unidades físicas conectadas ao servidor, de modo que contornamos as regras "no NAS" que empresas como a CrashPlan têm. Não é um computador pessoal, portanto a sincronização pode ser executada 24/7/365. Isso resolveria o problema externo.
• Em vez de usar um serviço de backup online como o CrashPlan, poderíamos escrever um script para sincronizar esses arquivos com uma conta do Amazon Glacier.
• Uma política em que o vídeo exibe trabalhos de discos rígidos externos para projetos atuais, mas deve colocar o projeto nesse novo computador quando concluído. Em outras palavras, continue usando discos rígidos externos para projetos atuais e armazene projetos arquivados nesse servidor.

Serviços de backup baseados em nuvem (CrashPlan.com, BackBlaze.com, Carbonite.com)

• Normalmente, só permite fazer backup de um disco rígido externo que esteja fisicamente conectado a um computador. (sem NAS ou unidades de rede).
• Geralmente, eles esperam que uma unidade externa com backup permaneça conectada ao seu computador e que todos os dados permaneçam na unidade. Se você não ligar um disco rígido externo por meses, o que acontece com os backups? Se você limpar o espaço excluindo projetos antigos, eles também serão excluídos do serviço on-line.
• Requer que nossos usuários deixem os discos rígidos externos conectados ao computador até que todos os dados estejam na nuvem. Isso pode levar semanas para um grande projeto.
• A restauração de um projeto seria muito lenta devido às velocidades de transferência da Internet.
• Essas contas de backup na nuvem geralmente são específicas para um usuário / um computador. Então, se um disco rígido é copiado por um usuário. Então um segundo usuário trabalha no projeto, o que isso significa?

Um grande NAS

• Um NAS é "Armazenamento da Área de Rede". Você fica com tantos discos rígidos quanto ele vai aguentar. Isso irá atacá-los. Você pode acessá-lo através da conexão de rede ou talvez USB3 / Firewire.
• A maioria tem um sistema operacional integrado. Portanto, você não pode executar outros softwares como serviços de backup baseados em nuvem. Nem você pode fazer qualquer personalização ou executar o seu próprio software. Você consegue o que compra.
• Grandes NASs são muito caros e não tão grandes. Você não encontra muitos com mais de 4 baías. Atualmente um grande HD é de 3 TB. Então 4bays pode estar em algum lugar próximo a 12 TB de armazenamento. Não é super confortável para o futuro.

Outras ideias são:

• Backups de fitas.
• Basta arquivar os projetos mais antigos diretamente no Amazon Glacier, Ignorar a criação de um servidor local para armazená-los.

Obrigado por qualquer conselho !!! Jed

    

Answer 1

Fita. Simples assim. Quantum tem um sistema SuperSTore que pode lidar com muito mais do que isso e eu os vi por menos de 5000 pontos - novo. O bom é que você pode extrair fitas para armazenamento, de modo que o dimensionamento seja bastante eficiente e as fitas durem.

    

Answer 2

Primeiro, aconselho evitar o Glacier. Parece bom, até você reduzir os custos para realmente restaurar uma grande quantidade de dados. Esta é uma calculadora não oficial que você pode usar para calcular os custos de armazenamento e recuperação da Glacier, e julgar por si mesmo . A restauração de terabytes de dados do Glacier é uma perspectiva bastante pouco atraente.

Em segundo lugar, eu aconselharia que, para fins de backup simples, você poderia se safar com um único servidor NAS com muitas unidades. Parece-me que você só olhou para casa e opções NAS de pequeno escritório, e você deve considerar uma oferta de NAS adequada. Preferindo a Dell, gostaria de apontar os Servidores NAS PowerVault da Dell, mas a HP, IBM, SuperMicro e quase todos os outros têm ofertas semelhantes. Eu tenho um Dell PowerVault NX mais antigo em casa que serve como minha biblioteca de mídia e tem doze discos SAS near-line de 2 TB. Quatro unidades SAS nearline TB estão disponíveis nos dias de hoje também, então você pode sempre preencher um servidor NAS adequado com elas. (Ou compre alguns servidores NAS.)

Você poderia facilmente usar um desses em sua LAN local, instalar o software de backup de sua escolha ( como Bacula, se você gosta de graça , ou qualquer uma de uma dúzia de ofertas comerciais se você quiser suporte ao fornecedor) e usar um grande volume RAID como seu destino de backup. Você poderia, então, usar um serviço de backup na nuvem para fazer backup desse servidor NAS e obter os benefícios de backups locais e remotos. Mais uma vez, isso é o que eu faço em casa. Servidor NAS adequado, terabytes de dados com backup para um serviço de nuvem.

E, claro, você também pode usar fita ... comprar uma unidade de fita ou biblioteca LTO - pessoalmente, vou fazer um grande esforço para evitar fita ou mídia de disco ótico, mas elas são opções legítimas e podem ser mais baratas que uma solução de disco para disco.

Por fim, sugiro que você considere a principal desvantagem dos serviços de backup na nuvem, que é o tamanho do seu canal de Internet. Pode levar semanas ou meses para carregar terabytes de dados pela sua conexão com a Internet e / ou incorrer em taxas extras do seu provedor de serviços de Internet. Então, embora sejam uma opção viável para o backup de dados, até mesmo dados corporativos, essa é uma restrição que a maioria das pessoas não considera até que eles já a tenham atingido.

    

Answer 3

Acho que depende do seu orçamento. Se você só pode gastar ~ $ 6k você precisará construir seu próprio NAS provavelmente. Eu olharia para o nas4free e o que um servidor te custa. Se você pode gastar $ 20k, você provavelmente pode preencher um servidor com um monte de disco e uma placa RAID decente ou software RAID no Linux ou qualquer outra coisa.

Por cerca de $ 40k, você pode ter um highish end 1U (IBM x3550 M4, 2 portas Emulex 10GBit nic, 4Gbit NIC, 128GB RAM, 2 discos SAS 10k locais) com 10Gbit iSCSI para uma caixa Infortrend SAN com 24 4TB SAS discos que você pode cortar e cortar como quiser. O RAID6 é uma configuração razoável.

A fita também é uma boa ideia, mas não sei como é realmente barato. Depende do tamanho de uma biblioteca que você recebe. Se uma biblioteca de 48 fitas for boa, você pode fazer isso novamente com uma placa SAS externa e 1U para talvez unidades de $ 30k e 2 LTO6 ... Mas então você precisa de licenças de software para gerenciar backups em fita ou algo assim. Eu usei apenas o NetBackup, o que provavelmente não combina muito bem com você aqui. Só não esqueça que você provavelmente vai querer dirigir a biblioteca de fitas de alguma forma no software. Mas uma vez que você esteja fora da biblioteca, não se esqueça de encontrar a fita e carregá-la, além de uma área de teste para o acesso ...