Copie arquivos grandes para várias máquinas em uma LAN

Question

Eu tenho alguns arquivos grandes que eu preciso copiar de uma máquina Linux para cerca de 20 outras máquinas Linux, todas na mesma LAN, o mais rápido possível. Quais ferramentas / métodos seriam melhores para copiar esses arquivos, observando que isso não será uma cópia única. Essas máquinas nunca serão conectadas à Internet e a segurança não é um problema.

Atualização:

O motivo de eu ter perguntado isso é porque (no meu entender) estamos usando scp em série para copiar os arquivos para cada uma das máquinas e eu fui informado que isso é "muito lento" e mais rápido alternativa está sendo procurada. De acordo com o que me foi dito, a tentativa de paralelizar as chamadas scp simplesmente a retarda ainda mais devido às pesquisas de disco rígido.

    

Answer 1

BitTorrent. É como o Twitter implanta algumas coisas internamente.

link

    

Answer 2

Como sobre o UFTP , ele usa multicast para entregar arquivos via UDP para vários clientes de uma só vez. Não para todos e não sou especialista nisso, mas parece que faz o que você quer.

    

Answer 3

Você tentou copiar esses dados com rsync ? Se você tiver uma LAN de 1 Gbit ou mais rápida, a cópia acima de 4 * 20 GB não será um problema.

Com que frequência essa cópia ocorre? Importa se levar alguns minutos para terminar?

    

Answer 4

scp-tsunami é o caminho!

link

É comumente usado para distribuir imagens de disco em clusters de virtualização, suas performances são quase bittorrent, mas é mais simples de usar para uso diário.

    

Answer 5

Configurar um compartilhamento NFS e fazer com que cada máquina receba esse repositório compartilhado de arquivos grandes provavelmente seria o método mais rápido (o NFS é muito rápido e tem pouca sobrecarga).

Você pode adicionar uma ou duas NICs adicionais ao servidor de origem e juntá-las para proporcionar uma melhor taxa de transferência.

A implementação pode ser uma tarefa cron simples em cada servidor de destino que busca cegamente no compartilhamento a cada hora / dia / o que for. Você também pode configurar um daemon para pesquisar novos arquivos; você também pode simplesmente rotear uma sessão de controle para SSH (com pares de chaves) em cada caixa de destino e instruí-los a buscar o arquivo quando você executar seu script.