Sincronização de arquivo mestre-mestre entre DataCenters

Question

Meu problema é em relação a uma configuração de sincronização de arquivos mestre-mestre (3 nós mestres), em que cada nó está em um DataCenter diferente. Eu tenho três servidores de aplicativos onde os usuários podem criar / modificar / apagar arquivos e eu preciso mantê-los em sincronia, espero que com baixa latência entre a sincronização (2 min é aceitável, em tempo real é ideal). Temos um total de 376.136 arquivos para um total de 100 GB modificando (Criar + Excluir + Modificado) no máximo 1.000 arquivos por dia. É uma suposição justa de que um arquivo não será modificado em dois servidores diferentes ao mesmo tempo.

Eu pesquisei muito na última semana sobre esta questão e ainda estou para encontrar um "THIS IS IT!" solução.

As opções que vi são:

• Unison: Abandonware (Meu sysadmin afirma que não é confiável)
• Rsync: não funciona com exclusão e não deve ser bidirecional
• Osync: Pode ser, mas parece que pode ser prejudicado por uma grande árvore de arquivos
• lsyncd: A partir de sua página do GitHub, parece ser a melhor opção até o momento.
• Minio (usando uma forma de armazenamento de arquivo aw3): não foi projetado para uma configuração mestre-mestre, mas para uma solução de armazenamento distribuído
• Cloud Storage: Seria ideal, mas não há um bom provedor de nuvem em nosso país e as velocidades internacionais da Internet são péssimas aqui, então o armazenamento fora do país não funciona para nós
• GlusterFS / Ceph / DRBD: Magia negra difícil de configurar, manter, controlar e depurar, e não é realmente adequado para a sincronização entre DataCenters (Da minha experiência, insights adicionais seriam bem-vindos)
• Mirror: Parece ser uma boa opção, mas parece ser projetado para intranet e arquivos pequenos.

Trabalhamos com janelas de encaixe, mas tampouco encontramos um plug-in de volume docker que resolva isso.

Alguém que está enfrentando / resolvendo esse problema? Qual ferramenta é melhor? Existe alguma outra ferramenta que seja mais adequada para este problema?

    

Answer 1

Eu vou com o GlusterFS (que não é tão difícil de configurar), mas você também pode tentar com o CSYNC2:

link

Eu usei para replicar um conjunto de arquivos em um cluster com bons resultados.