LizardFS / MooseFS - vários volumes de armazenamento

Question

Estou usando o novo LizardFS e é incrível! Eu sou novo no LizardFS / MooseFS no geral, mas parece bem direto.

Eu queria saber duas coisas:

Primeiro, existe uma maneira de configurar pools de armazenamento separados? Por exemplo, eu poderia ter cinco servidores, cada um com dois HDDs. Um HDD em cada servidor pertence a um pool de armazenamento e o outro HDD pertence ao outro. Os pools de armazenamento seriam separados no sentido de que seriam montados separadamente e manteriam pedaços separadamente.

A razão para querer fazer isso é por causa da minha segunda pergunta:

Eu quero ter um pool de armazenamento rápido e um pool de armazenamento lento. Meus servidores têm 10GB com SSDs, então tudo com o LFS é muito rápido. Mas alguns itens (principalmente por tipo de arquivo) não precisam ser rápidos, como arquivos de áudio e vídeo, e os HDs são obviamente mais baratos.

Em última análise, o que eu quero fazer é que o LFS reconheça condições (como tipo de arquivo ou outras condições definidas pelo usuário) para que, quando um arquivo é gravado no sistema de arquivos, ele seja armazenado em armazenamento rápido ou lento , mas aparece como um único volume de armazenamento para o usuário final. Tenho certeza de que isso não é possível com o LFS fora da caixa. No entanto, se é possível ter vários volumes de armazenamento, posso criar um sistema para falsificar o resto usando links simbólicos.

    

Answer 1

Desde a versão 2.5.4, o LizardFS suporta um novo recurso chamado 'metas personalizadas'. Ele basicamente permite que você defina grupos de servidores, por exemplo, um grupo 'hdd' para nós lentos e um grupo 'ssd' para os mais rápidos. Em seguida, você pode solicitar ao LizardFS para distribuir dados em determinados grupos somente em vez do cluster inteiro. As metas personalizadas têm a mesma granularidade das metas padrão: é possível, portanto, atribuí-las por diretório.

Mais detalhes sobre Anúncio de lançamento do LizardFS 2.5.4 .

    

Answer 2

No MooseFS 3.0 existe um recurso chamado Storage Classes. Parece ser mais confortável de usar do que os objetivos personalizados no LizardFS, porque você pode definir uma classe de armazenamento "on the fly", sem necessidade de editar quaisquer arquivos de configuração com definições. Você só precisa "rotular" chunkservers antes de definir quaisquer classes de armazenamento (e isso deve ser feito nos arquivos de configuração dos chunkservers), mas normalmente você define rótulos para o chunkserver uma vez.

(de Manual de classes de armazenamento do MooseFS 3.0 ):

Since MooseFS 3.0 goal has been extended to Storage Class. Storage Classes allow you to specify on which Chunkservers copies of files should be stored. Storage Classes are defined using label expressions.

    

Answer 3

Não, infelizmente isso não é possível sem executar vários servidores LizardFS na mesma máquina. Você pode fazer isso, carregando em arquivos de configuração separados com portas diferentes, se você gostaria de fazer isso. Isso ainda exigirá que você separe manualmente os diferentes tipos de conteúdo.

Você pode querer examinar o recurso de reconhecimento de rack do LizardFS - que pode ser usado para "fixar" o armazenamento rápido em um conjunto de servidores.

Em uma nota semi-não relacionada, há uma solicitação de pull de alta disponibilidade no LFS que eu enviei :) Dê uma chance se quiser.

Se o armazenamento em cache SSD é uma obrigação, tente Ceph. Ele permite que você configure pools rápidos de cache para ficar na frente de ferrugem mais lenta.