sistema de arquivos distribuídos que funciona bem com vários arquivos pequenos [fechados]

Question

O meu caso de uso é bem específico.

Tenho 20 máquinas com Windows 7 constantemente criando arquivos no meu armazenamento; cerca de 98% desses arquivos são de 2,1 MB. Em média, criamos 24 milhões de arquivos a cada três dias, e esse número pode aumentar no futuro próximo, já que podemos precisar adicionar novos clientes ao nosso sistema.

Eu não modifico arquivos (apenas crie, leia, copie e exclua). Eu vi o Reiser4, que parece promissor, mas também gostaria de ter a capacidade de replicar os arquivos em vários nós de armazenamento na rede, para que eu possa ter um sistema de tolerância a falhas.

Alguma sugestão?

    

Answer 1

Confira o GlusterFS. Eu tive necessidades semelhantes há alguns meses e testei em VM e nós físicos. A replicação é rápida e a configuração não é tão difícil.

Uma ressalva. Se você fizer isso, precisará de uma máquina dedicada para atuar como o servidor de arquivos. Essa máquina, então, manipulará a replicação entre os nós escravos. Eu tentei editar um arquivo em um dos nós finais - ou seja, para ver se vários nós poderiam atuar como o servidor de arquivos - para ver se a replicação iria sincronizar as alterações. Isso não aconteceu; mas quando editei o arquivo pelo mestre / controlador, as alterações foram sincronizadas.