Estou procurando um "Sistema de Arquivos Paralelos" que seja fácil de configurar, manter e escalonável.
Meu objetivo é ter um único ponto de montagem em uma máquina Linux que os aplicativos possam ler / gravar usando práticas de codificação padrão (como C ++), que essencialmente são vários pontos de montagem. Eu não estou procurando velocidade, estou procurando armazenamento e confiabilidade; apesar de que a velocidade seria obviamente positiva.
Então, por exemplo, vamos dizer:
/ mnt1 - > smb: // srvr1 / share
/ mnt2 - > smb: // srvr2 / share
/ vfs - > mnt1 + mnt2
Eu olhei para o ZFS e, embora eles suportem arquivos reais como discos, eles não recomendam isso. Alguém tem alguma sugestão sobre isso?
O que você quer é um Samba RAID.
Primeiro, monte os compartilhamentos do samba (talvez inclua-os no fstab) e crie arquivos para atuar como dispositivos de bloco em cada compartilhamento de samba:
dd if=/dev/zero of=/where/you/mounted/the/share/raid bs=10000M count=1
(substitua 10000M pelo tamanho desejado)
Siga as instruções aqui , mas para dispositivos de bloco, use os arquivos que você acabou de criar. Isso provavelmente será bem lento.
A maioria desses tipos de sistemas de arquivos não é muito fácil de configurar e manter. Mas o GlusterFS pode atender às suas necessidades e é tão fácil quanto essas coisas acontecem.
Outras opções seriam AFS , Lustre (muito difícil de configurar e manter), e pNFS .
Há um novo projeto interessante chamado SheepDog , mas seu foco principal é como um back-end para máquinas virtuais.
Enquanto você diz sistema de arquivos "paralelo", o que parece que você está realmente descrevendo é uma "pilha" de sistema de arquivos. Isso é o que UnionFS faz. Embora eu não tenha certeza se ele suporta o uso de montagens SMB, vale a pena dar uma olhada.
Há também aufs (Another Union FS) que, como o nome indica, é outra implementação do mesmo conceito.
Você realmente precisa combinar pontos de montagem?
Provavelmente, é melhor usar uma mistura de RAID e LVM, supondo que seus requisitos de armazenamento não estejam no território da SAN. Pelo menos, manter as coisas em um único sistema de arquivos, em vez de adicionar em um sistema de arquivos extra meta. (O que é sério sobre o que você está falando!)
Existem projetos como o UnionFS, já em outra resposta, que abordam esse tipo de problema. No entanto, existem enormes problemas com isso. É ótimo para "Eu quero começar com este CD e fazer algumas mudanças nele", mas distribuir gravações em vários sistemas de arquivos iguais é uma história diferente.
Caso contrário, você está no território "cluster filesystem", e esses geralmente não são criados a partir de compartilhamentos CIFS ...
Talvez você também possa dar uma olhada no mhddfs, semelhante ao aufs:
Existe até um pacote Debian, pelo menos em Sid.
Existem vários sistemas de arquivos paralelos. No entanto, a maioria é bastante complexa para configurar e otimizada para supercomputação. Veja PVFS , Gluster , Lustre , CEPH ...
O PVFS é de longe o mais fácil de configurar o IMHO, ele pode ser redimensionado facilmente e reexportado como samba e NFS.
O Gluster é baseado no Fuse, portanto, ele carrega as limitações comuns do Fuse (desempenho, sem suporte a nfs-kernel-server), mas geralmente é muito bom.
O Lustre realmente requer muitos nós para ser interessante, e é mais inútil dos aplicativos de nós de renderização / computação.
Deixe claro: se você não for um excelente administrador de Linux, esqueça. Todos esses sistemas requerem que você saiba como compilar e instalar os módulos de kernels e kernels, editar toneladas de arquivos de configuração obscuros e trabalhar inteiramente no console. Certamente não para o noob do Ubuntu.
Tags linux filesystems