No nosso cluster Isilon, temos um sistema de arquivos de 124 TB. Atualmente está com 38% de participação, com 31 milhões de arquivos. Cerca de metade dos dados são arquivos de imagem e o tamanho médio do arquivo é de 1,5 MB. Usamos instantâneos para proteger contra exclusão acidental, mas precisamos de algo diferente para proteger contra falhas totais (por exemplo, erro de sysadmin, erro de software ou dano por água, calor ou fogo). E como somos um pobre laboratório de pesquisa, não deve ser muito caro.
Atualmente, tentamos fazer o backup em fita, mas isso tem dois problemas. Primeiro, apenas percorrer a árvore de diretórios e informar cada arquivo demora mais de cinco dias, de modo que até um backup incremental leva mais de uma semana. Segundo, e mais importante, uma restauração levaria muitas semanas, até meses.
Idealmente, gostaríamos de ter acesso a muitos dos dados novamente dentro de uma semana de desastre. (Não há problema em recuperar gradualmente os dados ao longo de várias semanas se pudermos escolher quais diretórios restaurar primeiro, mas o fornecimento de novos equipamentos de armazenamento e a restauração provavelmente demorariam muito mais do que isso.) A única maneira de pensar em recuperar-se uma semana é manter uma réplica no disco em um local separado. Não há problema em perder pelo menos alguns dias de trabalho, portanto, a replicação pode atrasar um pouco ou cobrir o sistema de arquivos ao longo de vários dias. Também é aceitável que o replicado tenha um desempenho muito pior que o original.
A solução Isilon seria usar o SyncIQ para replicar o sistema de arquivos para outro cluster. Como isso opera no nível de bloco, evita o problema de percorrer o sistema de arquivos e de registrar cada arquivo. Como pode ser esperado, o custo é um pouco alto: a licença para o software SyncIQ é de US $ 55k e, em seguida, há o custo do caro armazenamento Isilon para sincronizar (embora o uso do armazenamento NL mais barato ajude um pouco). Espero que a solução Isilon chegue a algo entre US $ 500 e US $ 1000 por TB, o que é muito melhor do que os US $ 1300-1900 / TB que pagamos pelo armazenamento primário, mas ainda muito dinheiro para nós.
Dado que discos rígidos brutos podem ser adquiridos por $ 60 / TB nos dias de hoje, espero que 124 TB de armazenamento lento possam ser reunidos por preços muito inferiores aos de Isilon, e que haja uma maneira de replicar mudanças em menos de um semana. Você pode pensar em um caminho?