Crie um servidor de arquivos a partir de vários desktops

Question

Tenho vários desktops que gostaria de conectar e usar como um grande servidor de arquivos. Eu quero ser capaz de acessar todos os discos rígidos com apenas um IP. Eu tenho brincado com FreeNas e OpenFiler, mas não consigo obter qualquer informação sobre o que estou procurando.

Algo semelhante a computação Beowulf mas em vez de computação paralela, eu gostaria de usá-lo para armazenamento paralelo .

Isso é possível?

Obrigado Balaji

    

Answer 1

Usando a plataforma de armazenamento Gluster , você pode gerenciar um armazenamento em cluster (composto por protocolos de acesso GlusterFS, CIFS ou NFS). É open source e muito promissor!

Na página do Gluster:

Gluster Storage Platform is an open source clustered storage solution. The software is a powerful and flexible solution that simplifies the task of managing unstructured file data whether you have a few terabytes of storage or multiple petabytes. Gluster Storage Platform integrates the file system, an operating system layer, and a web-based management interface and installer.

A plataforma de armazenamento Gluster pode reagrupar o armazenamento usando o GlusterFS que pode reagrupar vários discos rígidos.

Na página GlusterFS :

Gluster Filesystem is an open source clustered file system capable of scaling to several petabytes and handling thousands of clients. Gluster Filesystem clusters together storage building blocks over Infiniband RDMA or TCP/IP interconnect, aggregating disk and memory resources and managing data in a single global namespace.

    

Answer 2

talvez o Ceph esteja fornecendo os recursos que você está procurando:

link

Escala perfeita - Um sistema de arquivos Ceph pode ser facilmente expandido simplesmente adicionando nós de armazenamento (OSDs). No entanto, ao contrário da maioria dos sistemas de arquivos existentes, o Ceph migra proativamente os dados para novos dispositivos para manter uma distribuição balanceada de dados. Isso efetivamente utiliza todos os recursos disponíveis (largura de banda de disco e fusos) e evita hot spots de dados (por exemplo, dados ativos residindo primariamente em discos antigos, enquanto os discos mais recentes ficam vazios e inativos). ...

    

Answer 3

Quais protocolos você está procurando? Para CIFS / NFS / HTTP etc. eu usaria o "Scalable NAS Serving File Software" da HP, para iSCSI eu usaria a "Solução SAN Virtualization LeftHand" da HP - mas isso é só porque eu conheço esses produtos, tenho certeza de que são muito mais opções.

    

Answer 4

Eu brinquei um pouco com o OpenAFS ( link ) que é um sistema de arquivos distribuído. Isso foi há alguns anos atrás, então eu não me lembro dos detalhes, exceto que era muito difícil conseguir correr.

O Coda ( link ) é outro desses sistemas de arquivos.

A menos que você tenha razões específicas para precisar de um sistema de arquivos distribuído, provavelmente será mais fácil comprar mais algumas interfaces IDE e colocar todos os seus discos na mesma área de trabalho. Também é menos consumidora de energia.

Sistemas de arquivos distribuídos são uma boa solução se você precisar de extrema escalabilidade ou resiliência de falhas. Agrupar desktops antigos para consolidar o espaço HD é mais um kludge ...

    

Answer 5

O Openfiler pode fazer o que você precisa, mas você provavelmente terá que sujar as mãos com a linha de comando. O web gui não terá tudo o que você precisa. Você estaria olhando para algo como:

1. Instale OF em cada uma das máquinas e faça com que elas sirvam seu armazenamento como LUNs iSCSI
2. Instale OF em um servidor bridgehead e faça com que ele funcione como um cliente iSCSI (isso é algo que OF pode fazer, mas não está nas GUIs).
3. Quando o armazenamento estiver visível no bridgehead, distribua-o para sua LAN sobre o iSCSI no bridgehead.

Você também deve vincular os discos usando esse método e apresentá-los como grandes LUNs agregados.

    

Answer 6

E se você estiver se sentindo aventureiro, você pode tentar o Plano 9 também.

    

Answer 7

É provavelmente muito mais simples separar os protocolos de envio de arquivos dos sistemas de arquivos que você está usando. O AFS e o GlusterFS são possíveis candidatos para a parte do sistema de arquivos.

Em termos de fornecer um único servidor virtual visível ao cliente e balanceamento de carga, você deve dar uma olhada no projeto Linux Virtual Server .

Em termos do protocolo para os clientes interagirem com o servidor - então as escolhas óbvias são Samba ou NFS. Mas eu recomendo que você leia os documentos LVS sobre o bloqueio de arquivos.

C.

    

Answer 8

Recentemente encontrei o projeto Tahoe-LAFS que parece fazer isso. Eu ainda não tive a chance de brincar com ele, então não posso comentar como funciona.

    

Answer 9

Existem dois métodos para essa abordagem. Depende do seu propósito. Você quer aumentar o desempenho da apresentação, por exemplo, serviços NFS para os clientes? Em seguida, um sistema de arquivos em cluster é bom para isso, mas requer um sistema de disco back-end "compartilhado" normalmente uma SAN. Ou se você quiser ter vários discos de vários servidores e combiná-los, então este é um sistema de arquivos paralelo. As opções para isso são algumas que foram listadas, mas também há o Lustre, que também é de código aberto. Dependendo da necessidade e finalidade, há opções. GlusterFS e Lustre são mais dos meus favoritos