Distribuir arquivos para uma grande quantidade de servidores

Question

Estou procurando uma maneira de distribuir arquivos grandes para meus servidores, os mesmos arquivos precisam estar em todos os servidores de destino ...

Os arquivos estão em tamanhos de 30 a 600 GB.

Problema: montei minha fonte de compartilhamento NFS nos destinos e inicie a cópia ao mesmo tempo.

No meu servidor de origem, posso ver que a utilização do disco é alta por causa do intenso IO (acho que é porque ele precisa ler os mesmos arquivos repetidamente) e também a utilização da rede está próxima do topo.

Eu tentei a transmissão UDP, mas não funcionou porque meu ambiente de hospedagem não permite isso ...

Eu ouvi sobre assassinato, mas não encontrei ninguém que tenha trabalhado com ele (exceto o Twitter :)).

Minhas perguntas são:

1. Alguém tem alguma experiência com este aplicativo (assassinato ou qualquer outro tipo de "sincronização" de torrent)?
2. Existe outra opção para copiar os mesmos arquivos para os meus servidores em um curto espaço de tempo possível (posso copiar os arquivos para cada um dos servidores de destino separadamente, isso não deixará meu servidor de origem de joelhos, mas levará muito do tempo)?

Qualquer ideia será apreciada

Obrigado,

Gili

    

Answer 1

Algumas ideias vêm à mente.

Se isso é algo que você faz com freqüência e com cadência, pode valer a pena configurar um servidor rsync e configurar uma tarefa cron em seus clientes para extrair o arquivo do rsync.

Se isso for feito com pouca freqüência e conforme necessário, você ainda poderá usar o rsync manualmente. Eu freqüentemente uso ansible para esse tipo de coisa também, mas ansible quer uma lista de hosts que ele tem permissão para interagir com (inventário) e funciona melhor se você tiver a configuração de chaves ssh. Seu ansioso comando ad-hoc seria parecido com

ansible <target hosts> -m copy -a "src=<your file> dest=<location of file on destination host>"

TBH Não sei se essas opções farão o multicast do arquivo (parece que é isso que você está procurando), mas você ainda pode ver alguns ganhos de desempenho em outros lugares.