BitTorrent ou outro compartilhamento de arquivos peer to peer. Pode haver algum trabalho para configurar o rastreador, mas ele usará o upload de todos os hosts.
Você precisará testar para ver o que é mais rápido em seu ambiente.
Estou procurando uma maneira de distribuir uma pasta grande (~ 40-60g) para vários servidores (4 ou mais). Um simples comando scp em um loop já está funcionando. Eu gostaria de ter um método mais rápido, mas simplesmente paralelizar isso facilmente com command & e wait (ou GNU paralelo ) não vai melhorar muito, pois a largura de banda é limitada. Também quero um método simples que nenhuma configuração do sistema de arquivos distribuídos deva estar envolvida.
E eu li que nfs será mais rápido que scp ou rsync especial , o que é bom mas acho que uma versão mais rápida é possível se houver mais de 3 servidores de destino, ou seja, um mecanismo "cópia em árvore" : copie da origem para o servidor A e B e copie de A para C e D e em paralelo de B para E e F e assim por diante.
C ...
/
A
/ \ D ...
/
source -- E ...
\ /
B
\ F ...
Já existe uma ferramenta onde eu posso apenas fornecer os IPs ou nomes de host e fazer essa cópia eficiente de "árvore"? Ou um script simples que faz isso via scp, pssh, sshfs ou similar?
BitTorrent ou outro compartilhamento de arquivos peer to peer. Pode haver algum trabalho para configurar o rastreador, mas ele usará o upload de todos os hosts.
Você precisará testar para ver o que é mais rápido em seu ambiente.
Se os servidores estiverem em todo o mundo (ou seja, não em sua rede local de 10 Gbps), o link também poderá ser uma solução.