Estou trabalhando com um cluster de servidores Linux que está por trás do recurso de escalonamento automático em nuvem da Amazon ( documentação ). Existem arquivos que se acumulam em cada servidor, eles são arquivos de cache para o aplicativo. Estou procurando uma maneira automatizada de fazer com que os servidores sincronizem essa pasta entre si.
Rsync funcionaria se alguém tivesse uma maneira inteligente de fazer a detecção de pares. Unison . Idealmente, o que aconteceria é quando um novo servidor é lançado, ele descobre seus pares e começa a sincronizar a pasta. A partir desse ponto, um último registro de vídeo ganha a sincronização P2P.
Alguma coisa lá fora que faz isso?
Você sabe o quão estranho pode parecer, mas usar o rtorrent com o DHT ativado no intervalo ec2 privado pode funcionar
Isso lhe daria
O upstream do Rsync fornece suporte para o SLP (Service Location Protocol). Ele não está habilitado em fontes rsync vanilla, mas você pode encontrar o suporte a SLP no tarball rsync-patches na página inicial do rsync (slp.diff). Por exemplo. O pacote rsync do SUSE é construído com este patch; Eu não sei sobre outras distribuições.
Não tenho certeza se é isso que você está procurando, nem tenho experiência com o SLP.
Talvez eu esteja perdendo alguma coisa aqui, mas há alguma razão para você não ter apenas configurado um diretório NFS simples e ter todas as máquinas montadas? Sempre que o aplicativo gravar o novo arquivo de cache, ele deverá substituir os antigos.
Eu tenho certeza que há alguma ferramenta de gerenciamento de Amazon, como Ferramentas , que permite você escreve um script de boot para fazer os nós descobrirem uns aos outros, através de endereços IP privados ou públicos.
A propósito, rsync e Unison não são a ferramenta certa, se eles têm que distribuir alterações para armazenar em cache com muita freqüência. Neste caso, você deve considerar algum sistema de arquivos realmente distribuído.
Talvez DRBD (dispositivo de bloco distribuído)?