Automação de armazenamento hierárquico gratuito no linux?

2

Tenho alguns servidores de arquivos virtualizados em execução no QEMU / KVM no ProxmoxVE.

O host físico possui 4 níveis de armazenamento com variações significativas de desempenho. Eles estão anexados tanto localmente quanto via NFS.

Estes serão fornecidos ao (s) servidor (es) de arquivos como discos locais, resumidos em pools e manipulando múltiplos fluxos de dados para a rede. Meu objetivo é que essa camada de abstração agrupe as camadas de maneira inteligente.

Há um post semelhante no site aqui: Soluções de armazenamento hierárquico automático em casa com o Linux? (Memória - > SSD - > HDD - > armazenamento remoto) em que a resposta aceita foi uma sugestão para abandonar uma solução linux para o NexentaStor.

Eu gosto da ideia de executar o NexentaStor. Quase cabe a conta.

O NexentaStor fornece pools de armazenamento híbridos e eu adoro a ideia de checksum. 16 TB sem incorrer em taxas de licenciamento é uma grande vantagem também. Após a despesa do hardware, livre é sobre todo o meu orçamento pode suportar.

Eu não sei se os pools do zfs são adaptativos ou dinamicamente alocados com base na carga, mas isso se torna irrelevante, já que o NexentaStor não suporta drivers de rede ou de bloco do virtio, o que é obrigatório em meu ambiente.

Então, vi uma solução comercial chamada SmartMove: link

E parece um passo na direção certa, mas estou tão sem dinheiro que estaria perdendo tempo para pedir uma cotação, então estou procurando outra opção.

Eu estou atrás de uma implementação Linux que suporta drivers virtio, e eu estou perdido quanto a qual software é o melhor para isso.

    
por NginUS 24.11.2010 / 20:35

2 respostas

1

Uma maneira de obter isso em um servidor Linux é usando o módulo kernel do flashcache . Isso só lhe dá uma camada, digamos, o SSD no topo do Drobo e / ou discos locais. Eu tenho usado isso experimentalmente nas últimas semanas aqui em casa com um disco SATA de 500GB e um SSD X25-E para fornecer um LVM que eu fatio e sirvo via iSCSI. Até agora tem funcionado muito bem.

Você tem dois métodos disponíveis com o FlashCache: write-through e write-back. Gravações de caches de write-back, mas também tem uma falha de design que ainda não foram resolvidas e que causaria uma falha grave do sistema para não preservar corretamente alguns dados. O write-through não tem esse problema, mas as gravações são sempre liberadas para o disco de apoio.

Eu não acho que isso seja apropriado para camadas sobre o NFS.

Algumas notas sobre Flashcache: Você tem que construí-lo do zero atualmente, você tem que executar um kernel de 64 bits (32 bits simplesmente não carrega o módulo corretamente), e nos meus testes até agora ele funcionou muito bem . Mais uma vez, isso só tem sido em torno de uma semana ou duas até agora.

    
por 25.11.2010 / 09:16
1

Você poderia tentar estender este projeto experimental no github: link

Ele contém um daemon que detecta que as extensões lvm são usadas mais e move essas extensões para cima da cadeia de armazenamento em camadas.

    
por 21.04.2011 / 17:14