Replicação do sistema de arquivos Mutli-master com desempenho de leitura aceitável

1

Estou tentando configurar o armazenamento replicado em três sites - cada site tem uma réplica completa de um sistema de arquivos, usando o GlusterFS ou o XtreemeFS. Essa réplica deve ser legível - muito rápido - localmente para cada site, sem ter que acessar nenhum nó remoto (pretendemos usar o cluster de armazenamento para armazenar um grande número de arquivos de cabeçalho de terceiros e bibliotecas para um grande projeto C ++). As gravações devem ser possíveis em qualquer site, mas o desempenho não é tão importante. As gravações síncronas seriam aceitáveis. Infelizmente, parece que estou correndo para um problema, com como configurar esses sistemas de arquivos para selecionar uma réplica que é local para um site para leituras de alto desempenho. Eu também observei o DRBD e criei uma topologia em anel, ou replicação master dual, mas rejeitei essa ideia, porque ela parece muito complexa. Eu sou engenheiro de software, não sou pessoa de TI, então, por favor, perdoe qualquer ignorância nesta área. Eu aprecio isso, este é um problema muito tecnicamente difícil, e gostaria de uma boa solução que lida com a semântica de bloqueio para as gravações corretamente. Para Gluster, não vejo nenhum meio prático de conseguir isso. Para XtreemeFS, eu estava assumindo que eu poderia atribuir um 'mapa de datacenter' e usar a diretiva de armazenamento WqRq, mas infelizmente isso não parece funcionar. Parece que se eu tiver três réplicas, devo ter três réplicas disponíveis para qualquer servidor que tente escrever (para o Gluster, também parece que todos os três Bricks também serão escritos de forma síncrona, independentemente do site ...). Preciso configurar o servidor de metadados replicados para o XtreemeFS, cada um com uma ordenação diferente do mapa do datacenter (para priorizar a replicação local) para conseguir isso? Como faço para forçar o uso da réplica local em cada site? A montagem parece exigir a URL do servidor de diretório, portanto, não parece haver nenhuma maneira fácil de forçar uma ordem específica de seleção de réplica. Existe alguma alternativa que me permita ter escritas mutli-master e escolha adequada de réplicas locais, para um bom desempenho de leitura?

    
por iosif 02.03.2013 / 00:33

2 respostas

0

O que você precisa é de uma SAN realmente cara ... Nós temos em minhas mãos um monte de ssd agindo como cache que eles acessaram a maior parte do tempo. E para trás o armazenamento real com um monte de discos SATA ... Nós usamos isso para ter armazenamento de arquivos + vdi + como 200 vm em esxi.E todo esse armazenamento estava indo em canais de fibra para o outro baremetal. link

    
por 08.08.2017 / 23:10
0

Mestre / Mestre sem precisar acessar sites remotos, embora ainda exija integridade de dados?

Tenho certeza de que isso é impossível, se eu estiver entendendo corretamente.

Você pode configurar mestre / escravo (não mestre múltiplo) ou pode deixar algum tempo para o atraso de replicação usando vários conjuntos (acesso a sites remotos, novamente, não mestre-mestre e nenhum estado garantido em todo o pool qualquer momento). Mais uma vez, existem várias soluções para se adequar ao seu caso de uso, mas nenhuma delas terá todos esses requisitos.

Um sistema de arquivos mestre / mestre sem conectividade imediata com outros nós simplesmente não é possível. Você não pode ter um sistema de arquivos único e consistente se o sistema de arquivos não puder falar facilmente com o armazenamento.

    
por 08.08.2017 / 20:22