ZFS em sistemas de armazenamento corporativo

Question

O armazenamento empresarial, como os sistemas da EMC, NetApp, etc., tem seus próprios algoritmos e métodos para garantir que nenhum dado seja perdido. No cenário de ter um monte de servidores conectados a um sistema de armazenamento, haverá alguma vantagem se eu usar o ZFS como um sistema de arquivos? Os recursos do próprio armazenamento não fornecerão a melhor integridade, compactação, desduplicação de dados viável, etc., tornando redundantes todos os meus esforços? Assim, não seria preferível XFS, UFS ou algum outro sistema de arquivos nesse caso?

    

Answer 1

Como Andrew Henle disse, você basicamente não tem garantias de que este sistema de armazenamento de caixa preta faz o que você quer. É claro, é provável que já faça tudo o que você quer, talvez até mesmo que ele use o ZFS internamente, mas você não sabe ao certo. E mesmo que você saiba exatamente, você provavelmente não poderá configurá-lo completamente ao seu gosto.

Então, você tem basicamente três situações possíveis diferentes nas quais você pode se encontrar:

1. Você não sabe nada sobre o sistema e não pode configurá-lo de maneira significativa. A maior parte do armazenamento em nuvem cairia nesse caso, assim como os sistemas de armazenamento em grandes corporações, onde você acaba de obter "armazenamento" de um determinado tamanho, solicitando-o se precisar dele para seus projetos.
2. Você sabe como o sistema funciona e está configurado, mas não pode configurá-lo por conta própria.
3. Você sabe como funciona e pode ativamente modificá-lo (seja você mesmo através de privilégios concedidos ou dizendo ao administrador para fazê-lo). Muito provavelmente em operações menores onde você se conhece ou onde as pessoas sabem que diferentes necessidades devem ser atendidas.

Isso leva às seguintes respostas à pergunta "O ZFS está sendo benéfico, é apenas um desperdício ou mesmo problemático?":

1. Como você não tem garantias, você ganha quase todos os recursos com a única desvantagem do desempenho. Você pode precisar fazer benchmark e testar muito para descobrir como o sistema funciona, mas pode ser que você nunca tenha um desempenho bom o suficiente. Claro, tudo pode ser em vão, mas como você não sabe, você fica do lado seguro.
2. Como 1, mas agora que você sabe como funciona, pode otimizar muito melhor o desempenho ou, no pior dos casos, saber por que seu desempenho está ruim. Você também sabe quais recursos você já possui, para poder tomar uma decisão mais informada se os recursos do ZFS valerem a pena no seu caso.
3. Como 2, mas agora que você pode configurar e otimizar ativamente o sistema de armazenamento, é ainda mais provável que você não precise do ZFS na parte superior. E mesmo se você fizer isso, talvez você possa alinhar ambos para minimizar a perda de desempenho.

Answer 2

Pesquisas do CERN mostram que mesmo sistemas de armazenamento muito caros sofrem com a podridão. Além disso, a pesquisa mostra que o ZFS não sofre de podridão. Além disso, pesquisadores independentes também mostram que o ZFS não sofre de podridão. Esta é a razão pela qual o CERN mudou para o ZFS. Além disso, o supercomputador IBM Sequoia usa o Lustre para armazenar 55 dados do Petabyte. O Lustre é um sistema de armazenamento paralelo, que usa o ZFS para o armazenamento real no disco. Google CERN e ZFS e você verá muitos trabalhos de pesquisa sobre integridade de dados. Além disso, o artigo da wikipedia sobre o ZFS tem artigos de pesquisa sobre integridade de dados.