Melhor maneira de conectar 96 tb à estação de trabalho

Question

Estou executando uma estação de trabalho com dual xeon 5690 (12 núcleos físicos / 24 lógicos), 192 gb de memória RAM (ou seja, maxed-out), Windows 7 de 64 bits, 5 slots para placas de adaptador e 1 tb de armazenamento interno , com mais 5 compartimentos internos disponíveis.

Eu tenho um aplicativo que cria arquivos de dados totalizando cerca de 88 tbs. Elas são escritas uma vez a cada 14 meses e, no restante do tempo, o aplicativo só precisa lê-las; e > 95% das leituras são leituras seqüenciais de grandes blocos de dados. Eu tenho algum controle sobre o tamanho dos arquivos individuais, mas idealmente eles estariam entre 5 e 8 tbs.

O aplicativo estará lendo apenas uma unidade por vez, e a natureza dos dados é tal que, se (quando) uma unidade morrer, eu posso restaurar os dados para um novo disco da fita.

Embora seja bom poder usar a unidade / controladores mais rápida disponível, neste ponto o tamanho é mais importante que a velocidade.

Depois de fazer muitas leituras, estou inclinado a comprar um monte de drives baratos de 2 TB e colocá-los em um monte de caixas baratas. Todas essas coisas estão indo para o meu escritório em casa, então eu preciso evitar o piso elevado / abordagem refrigerada.

Minhas perguntas:

1. A solução barata de unidade / gabinete é a melhor para essa situação?

2. Dada a natureza do aplicativo e a forma como os dados são usados, o RAID faz sentido? Se sim, qual?

3. Para leituras sequenciais enormes, o Usb 3.0 e o eSata seriam compatíveis com desempenho de lavagem?

4. Para cada slot disponível na estação de trabalho, posso conectar um gabinete que pode conter várias unidades? Ou é um controlador por unidade?

5. Se eu puder ter várias unidades em um controlador, estou essencialmente dividindo a largura de banda (taxa de transferência)? Por exemplo, se eu tiver um gabinete de 12 baias, a taxa de transferência do controlador será reduzida por um fator de 12?

6. Existe algum limite de volume / unidade / capacidade do Windows 7 de que eu deveria estar ciente?

Answer 1

Tentarei responder da melhor maneira possível, mas algumas das perguntas que você faz são mais sobre as preferências pessoais e os recursos do seu software do que com fatos técnicos.

1. Drives baratos são ... hum ... baratos. Existem apenas algumas situações em que as unidades baratas são "melhores" que as unidades de classe empresarial. Com drives baratos / de consumidor, você não obterá o desempenho, a confiabilidade ou o suporte que receberia com uma unidade corporativa, e novamente se seu aplicativo puder suportar algumas unidades que falham por ano e você tiver um pouco de espaço em um armário basta entrar em quando e quando eles falharem, drives baratos podem ser melhores para esta situação. A maioria dos discos de consumo não foi criada para ser executada 24 horas por dia, 7 dias por semana, embora a maioria possa fazê-lo com muito prazer. Se o desempenho for um fator, talvez você queira alcançar um compromisso entre desempenho, confiabilidade e custo, dê uma olhada em algumas unidades de servidor de extremidade inferior.

2. Esse é difícil, já que você diz que não precisa de confiabilidade, algo como o RAID5 / 6/10 pode não fazer sentido. Se você quiser endereçar toda a matriz como um único disco dentro do Windows, você vai querer RAID0 (Listrado), no entanto isso vem com seus próprios problemas, principalmente se uma única unidade falhar, toda a matriz será inútil *. Dadas as suas necessidades, eu poderia sugerir o RAID5. Isso reduzirá o desempenho de gravação, o que pode ser um problema com arquivos de dados tão grandes, no entanto, o desempenho de leitura será razoavelmente bom. Além disso, dependendo do seu aplicativo, pode ser possível montar cada unidade individualmente e de forma independente (para que eles sejam mostrados como separados no Windows Explorer), seu aplicativo precisaria ser inteligente o suficiente para gravar os dados corretos na unidade certa, mas se drive falhou você só perderia aquele que gera dados. Isso também significa que você só precisaria ter roof(total space needed/drive capacity) disks (fornecendo a opção de não ter discos sobressalentes para redundância)

3. Isso é mais baixo para velocidades máximas de protocolo, não consigo me lembrar delas em cima da minha cabeça, mas elas devem ser fáceis de encontrar. No entanto, é mais provável que você esteja limitado pela velocidade do disco do que pela velocidade do cabo.

4. Estas são questões muito semelhantes, mas pode valer a pena investigar o Pods de Armazenamento do Backblaze (E questões relacionadas ), no entanto, sua configuração de encadear cartões SATA pode ser o que você está procurando, mas não sei como os internos do Windows responderiam a essa configuração

5. Veja acima

6. Tanto quanto eu saiba, o limite para o Windows 7 é algo como 250 TB, então você não deve se deparar com nenhum problema, mas você deve verificar isso.

Como uma questão relacionada, por que você está usando o Windows 7? Esse tipo de carga de trabalho seria muito mais adequado para o Windows Server

* É possível restaurar os dados corretos para o disco se você tiver backups bons o suficiente, mas não para "abrir um novo disco e o RAID consertá-lo"

    

Answer 2

-1) A solução barata de drive / gabinete é a melhor para esta situação?

Se é tudo o que você pode pagar, então é tudo o que você tem que ir, pessoalmente não, eu não confiaria nele como eles podem e falhar mais frequentemente do que você gostaria.

0) Dada a natureza do aplicativo e a forma como os dados são usados, o RAID faz sentido? Se sim, qual?

Sim. Eu acho que você está realisticamente olhando para raid 5 + 1 ou raid 6. Considerando as taxas em que os drives de 2TB falham, você vai querer mais do que o raid 5, de qualquer forma. Tenha em mente que os tempos de reconstrução serão medidos nos dias em que uma unidade passa e o desempenho será horrível durante esse período.

1) Para grandes leituras seqüenciais, o Usb 3.0 e o eSata seriam compatíveis com desempenho de lavagem?

Talvez seja difícil dizer. O USB 3.0 é bem rápido, mas não tentei em uma configuração de invasão. USB 2.0 com 7 gabinetes USB era muito ruim, mas não sei se era a natureza do usb 2.0 ou a natureza de pendurar tudo isso fora do USB.

3) Se eu posso ter várias unidades em um controlador, estou essencialmente dividindo a largura de banda (throughput)? Por exemplo, se eu tiver um gabinete de 12 baias, a taxa de transferência do controlador é reduzida por um fator de 12?

Se eu entendi bem (e você ainda está se referindo a usb), sim, um hub usb divide sua largura de banda em cada porta e, se você tiver várias unidades em cada porta, obterá menos velocidade por unidade, embora apenas se usb3.0 / número de unidades é menor que a velocidade máxima de uma unidade.

    

Answer 3

Is the cheap drive/enclosure solution the best one for this situation?

Definir barato. Se você quer dizer sub- $ 300 por caixa com 5+ baias, então sim, isso funcionaria bem.

Given the nature of the app and the way the data is used, does RAID make sense? If so, which one?

(A) sim. (B) Isso depende. Configurações específicas de RAID serão mais rápidas para leituras, mas serão horríveis para as gravações; cada um tem tradeoffs distintos.

For huge sequential reads, would Usb 3.0 and eSata be a wash performance-wise?

Não se preocupe com o USB 3, mantenha o eSATA. USB parece barato, soa barato, e quando você comprá-lo e montá-lo nessa escala , terá um desempenho mais barato. Contenção de USB irá matar qualquer ganho que você tenha feito, especialmente se você escolher RAID-stripe seus dados, porque existem efetivamente 1 barramento e N spindles para transportar aquele único bus. eSATA irá pelo menos restringir quantos fusos são transportados através de uma única interconexão; Os expansores de portas SATA que fornecem 4: 1 não são incomuns, o que significa muito menos contenção.

For each slot available on the workstation, can I hook up an enclosure that can hold multiple drives? Or is it one controller per drive?

(A) sim. (B) Não, você não quer isso, mas está disponível.

Obtenha um cartão que tenha mais de 4 conectores eSATA e suporte expansores SATA em cada porta . Coloque um cartão em cada slot, para um total de 4 portas por cartão * 5 slots * 4 portas de expansão por porta de cartão = 80 portas eSATA. Isso deve ajudá-lo se você usar unidades de 1.5Tb (80 * 1.5 = 120Tb) ou 2Tb (80 * 2 = 160Tb).

É claro que esse arranjo terá 4 * 5 = 20 compartimentos de unidade. Se você puder encontrar uma solução mais densa, seria a seu favor ...

If I can have multiple drives on one controller, am I essentially splitting the bandwidth (throughput)? For example, if I have a 12 bay enclosure, is the throughput of the controller reduced by a factor of 12?

Para eSATA, um cabo de fita = um barramento, então só conta se todas as unidades caírem naquele cabo ao mesmo tempo. Se apenas um estiver usando de cada vez, não há qualquer disputa, então não há nada para se preocupar. Em uma configuração RAID, com todas as unidades inundando o ônibus, você está perdido. Usando a rota de múltiplos cartões / gabinete / expansor, você minimiza sua contenção porque cada cabo físico tem no máximo 4 unidades para enfrentar.

Are there any Windows 7 volume/drive/capacity limits I should be aware of?

Não sei, embora pareça que alguém já tenha respondido isso. (Resposta parece ser 250Tb).