armazenamento em rede para um grupo de pesquisa, 10-100 TB

Question

isto está relacionado com este post:

NAS escalonável (> 24 TB) para o departamento de pesquisa

mas talvez um pouco mais geral.

Antecedentes:

Somos um laboratório de pesquisa com cerca de 10 pessoas que realizam muitos experimentos que envolvem tirar fotos em uma das várias configurações de laboratório e analisá-las em um dos vários computadores do laboratório. Cada experimento pode produzir 2 ou 3 GB de dados, e estamos gerando dados na taxa de cerca de 10 TB / ano.

Neste momento, estamos armazenando os dados em um readynas netgear de 6 baias pro, mas mesmo com o drive de 2 TB, isso nos dá apenas 10 TB de armazenamento. Além disso, neste momento não estamos a fazer o backup. Nosso plano de backup de curto prazo é obter um segundo readynas, colocá-lo em um prédio diferente e espelhar um drive no outro. Obviamente, isso é algo não ideal.

Nossas opções:

1) Podemos pagar à nossa universidade US $ 400 / TB / ano pelo armazenamento on-line "com backup". Nós confiamos neles mais do que confiamos em nós, mas não muito.

2) Podemos continuar a comprar pequenos NASs e espelhá-los entre escritórios. Um limite, apesar de estúpido, é que não temos um número ilimitado de tomadas Ethernet.

3) Podemos tentar implementar nossa própria solução de armazenamento de dados, e é por isso que estou perguntando a vocês.

Uma coisa a considerar é que somos uma população muito transitória e nenhum de nós é especialista em administração de redes. Eu provavelmente estarei aqui apenas mais um ano, e os estudantes de pós-graduação, que estão aqui há mais tempo, têm uma escala de tempo de 5 a 6 anos. Portanto, nada pode exigir supervisão especializada.

Nossas taxas de transferência de dados são baixas - a maioria dos dados fica no servidor esperando que alguém olhe para ela uma ou duas vezes - portanto, não precisamos de um sistema realmente de alta velocidade.

Dadas essas restrições, alguém pode recomendar um sistema de armazenamento de dados compartilhados de turnkey, escalável, mais ou menos razoavelmente barato, com backup em um local físico separado. Existe tal coisa ou deveríamos apenas pagar a universidade para cuidar dela?

Como segunda pergunta, nosso professor acabou de obter estabilidade e está elaborando um orçamento. Aqui o objetivo é pedir o máximo que puder e esperar que você consiga uma fração dele. Então a mesma pergunta, menos o baixo custo. Sem restrições de orçamento, você pode recomendar um sistema de armazenamento de backup turn-key escalonável.

Obrigado

    

Answer 1

Há um artigo excelente e extremamente detalhado sobre a criação de "casulos" NAS por uma empresa que desenvolveu o sistema para uso próprio, em link . Eles descrevem como "67 TB por US $ 7.867", o que é muito bom. Eles rodam o JFS em cima dos volumes RAID-6 no Debian; eles então oferecem isso via https, mas não há nada que o impeça de colocar (por exemplo) o SaMBa lá (você não diz qual é o seu atual protocolo de acesso a arquivos remotos).

Disclaimer: Eu não sei nada sobre essas pessoas, exceto o que eu li, e eu não tentei construir um desses eu mesmo. No entanto, a menos que tenham falsificado fotos, elas realmente criam e implantam várias dessas coisas, e ainda não saíram do negócio.

Editar: demorei um pouco mais para encontrar a lista específica fornecedor (a lista partes detalhada está no link original acima), mas é link . Eu realmente admiro a forma como esses caras abriram sua infra-estrutura detalhada para reutilização; mas como dizem na postagem original:

Finally, we thank the thousands of engineers who slaved away for millions of hours to bring us the pod components that are either inexpensive or totally free, such as the Intel Processor, Gigabit Ethernet, ridiculously dense hard drives, Linux, Tomcat, JFS, etc. We realize we’re standing on the shoulders of giants.

Eu não sei sobre o produto deles (eu tenho meu próprio empilhador de fitas para backups), mas eu aprovo a humildade deles.

    

Answer 2

Acho que esse é um dos casos em que você deve terceirizar isso. Deixe o departamento de TI da universidade cuidar do armazenamento, eles cuidam do backup e da manutenção da solução de armazenamento. Será melhor a longo prazo.

    

Answer 3

Pergunte às pessoas da sua universidade se existe um nível de armazenamento menor. Talvez algo que não tenha backup ou apenas seja feito backup semanalmente / mensalmente. Se houver uma opção "sem backup" para mais barata, compre duas a três vezes o armazenamento e escreva alguns scripts para fazer backups semi-automaticamente. O backup, especialmente o backup em fita, pode ter dois terços do custo do armazenamento em rede.

Pergunte também se eles oferecem "armazenamento near-line".