Arquivo bidirecional do Linux sincronizado por uma WAN com sincronização imediata / incremental

Question

Alguém sabe de uma solução que permite sincronizar arquivos bidirecionalmente em uma WAN, mas também sincroniza imediatamente / incrementalmente?

Basicamente, o Unison é perfeito para a sincronização de arquivos, mas não é sincronizado de forma incremental. Ele aguardará até que um arquivo termine de ser alterado antes da sincronização e, infelizmente, precisamos que o processo de sincronização seja iniciado imediatamente.

Essencialmente, o fluxo de trabalho é:

1. O usuário faz o upload do arquivo para o servidor A
2. O servidor A inicia a sincronização do arquivo para o servidor B quando ele está sendo carregado
3. Carregar acabamentos
4. O servidor B faz algum processamento e grava alguns resultados em um diretório
5. O servidor B sincroniza os resultados de volta ao servidor A
6. O usuário baixa os resultados do servidor A

O servidor A também faz o processamento, mas como ele grava de volta no Servidor A, isso não é importante para fins de sincronização.

Meu primeiro pensamento foi talvez usar o DRBD em dual-primary com um sistema de arquivos em cluster, mas a) a latência da WAN é de 300ms e a largura de banda pode ser pobre (500K / s) eb) não podemos alterar o sistemas de arquivos atuais, e o Servidor B está usando um NAS (NFS) como armazenamento - não acredito que a combinação (e o uso de dispositivos de loopback) seja prática (corrija-me se estiver errado).

    

Answer 1

Acho que o GlusterFS pode resolver o seu problema.

É um sistema de arquivos distribuído que opera no espaço do usuário, para que você não precise alterar seu sistema de arquivos atual. Com um volume replicado gluster, você tem um único FS virtual, que pode ser montado em seus servidores usando o módulo FUSE ou o NFS. Este FS virtual é imediatamente sincronizado entre os nós no seu cluster.