Soluções de armazenamento hierárquico automático em casa com o Linux? (Memória - SSD - HDD - armazenamento remoto)

Question

Relacionado a esta pergunta sobre o uso de um SSD para sistema e HDD para dados , exceto que eu gostaria que meu sistema fizesse isso automaticamente ...

É possível ter várias camadas de armazenamento e enviar itens automaticamente entre eles, usando preferencialmente software livre e de código aberto?

Conheço soluções de classe empresarial extremamente caras, como o EMC SAN > EMC Centera arquivamento automático, mas eu queria saber se esse tipo de armazenamento temporário é possível fazer automaticamente.

Seria bom poder ter várias camadas: disco rígido com memória, disco rígido SSD e disco rígido ou fita ou outra solução de arquivamento.

Existem sistemas de arquivos que podem fazer isso automaticamente? (ZFS, Btrfs, HAMMER?)

Quaisquer variantes do Unix são boas, pois estou interessado em saber como isso funciona e se é provável que seja portátil para o Linux ou outros tipos de sabores (BSD, etc.).

    

Answer 1

Bem, o ZFS usa uma camada de armazenamento chamada HSP (Hybrid Storage Pool) :

1. Camada: memória
2. Camada: caches de leitura baseados em SSD (L2ARC) e caches de gravação (log de intenção separado, também conhecido como slog).
3. Camada: discos baratos (baratos)

Com o HSP, é fácil se beneficiar automaticamente das vantagens dos SSDs em comparação com uma solução somente de disco rígido. Um sistema usando HSP pode ser mais rápido e mais barato que o segundo. Veja este link para alguns bons exemplos e mais detalhes.

Acho que existem planos relativos ao gerenciamento hierárquico de armazenamento (HSM) para o ZFS (veja, por exemplo, Migração de dados automática (ADM) projeto OpenSolaris, mas não sei seu status atual.

    

Answer 2

Confira a solução "lvmts" (LVM Tiered Storage) baseada em LVM que esse cara está criando:

link

Muito legal.

    

Answer 3

O TIER parece responder às suas necessidades É um módulo do kernel do Linux que pode criar um armazenamento em camadas. Parece aprender por si mesmo o padrão e otimizar a colocação no armazenamento

link

    

Answer 4

Respondendo minha própria pergunta com algo que acabei de encontrar:

Eu estava apenas atualizando o kernel e observando as novas coisas que foram adicionadas, e agora existe uma opção 'CACHEFILES' que permite o armazenamento em cache (geralmente remoto) de sistemas de arquivos em um sistema de arquivos local. Eu acho que eu poderia usar isso para armazenar em cache um mecanismo de armazenamento mais lento (HDD) para um mais rápido (SSD), pelo menos para um nível de hierarquia.

    

Answer 5

Alguns links relevantes. YMMV.

link - "Gerenciador de armazenamento hierárquico on-line (OHSM) é a primeira tentativa de dados de código aberto de nível empresarial gerenciador de armazenamento que move automaticamente os dados entre mídias de armazenamento de alto custo e baixo custo. "

link - XFS + DMAPI no Linux

link - JFS + DMAPI no Linux

    

Answer 6

Os controladores RAID oferecem alguns desses recursos.

"Aproveita os SSDs na frente dos volumes do HDD para criar pools de cache do controlador de alta capacidade e alto desempenho"

link

    

Answer 7

Instantâneos do LVM2 vêm à mente ... mas você não pode fazer mais do que um único instantâneo.

    

Answer 8

O SAM-QFS é o produto existente da Sun e teve origem aberta no ano passado. É CDDL, então você pode apenas portá-lo diretamente para * BSD.