Sistema de arquivos distribuído para armazenar arquivos temporários

Question

Temos um cluster de servidores da Web que atualmente armazena arquivos temporários (que foram carregados pelos usuários) em um sistema de arquivos compartilhado central. A limitação é que toda vez que o servidor que contém o sistema de arquivos compartilhado desce, todo o nosso site está inativo (ou aleijado, pelo menos). Eu olhei para soluções como Gluster e GridFS para criar um sistema de arquivos tolerante a falhas, mas nenhum parecia ideal para arquivos efêmeros que são freqüentemente criados e excluídos. A segurança também é importante e a Gluster não parece ter nenhum meio de criptografia.

Quais são algumas boas opções de sistemas de arquivos distribuídos tolerantes a falhas que têm a capacidade de serem seguras e manipular a criação / exclusão freqüente de arquivos?

    

Answer 1

Aviso: conteúdo opinativo.

Sistemas de arquivos distribuídos são uma porcaria. Existem boas lojas de objetos distribuídos como cassandra e ceph, mas invariavelmente qualquer emulação do sistema de arquivos no topo é uma besta problemática, porque as operações do sistema de arquivos não mapeiam muito bem a distribuição (locking, fsync ()) e isso deixa de lado a questão precisando colocar código no kernel para suportá-los em vez de em seu aplicativo.

Eu aprecio a simplicidade de tornar todo o seu conteúdo acessível através do sistema de arquivos, mas talvez seja mais fácil escrever um pouco mais de código e usar um repositório de objetos distribuídos como se fosse para ser usado.

    

Answer 2

openAFS --- (abra o Andrew File System)

    

Answer 3

Depende de como deseja / precisa acessar o sistema de arquivos. Se você não se importar em usar chamadas de API, poderá fazer algo tão simples quanto o S3 ou mantê-lo em casa para executar um cluster RIAK para uma experiência semelhante.

Se você é muito pesado, pode executar algo como o etcd ( link ). O etcd é projetado para rodar em todos os nós e tem um desempenho muito alto, se trabalhar um pouco mais com a interface.