Empurrando arquivos grandes para mais de 500 computadores

23

Trabalho com uma equipe para gerenciar 500 a 600 computadores Windows 7 alugados para uma conferência anual. Temos uma grande quantidade de dados que precisam ser sincronizados com esses computadores, até 1 TiB. Os computadores são divididos em salas e conectados por meio de switches gigabit não gerenciados. Preparamos estes computadores antecipadamente com a instalação e configuração do Windows, além de todos os arquivos que temos disponíveis para nós antes de enviarmos a imagem de base para replicação pela empresa de aluguel. Todos os anos, temos uma abordagem de apresentadores no local com até gigs de dados que precisam ser enviados para a sala em que eles estarão apresentando. Às vezes, eles têm apenas alguns arquivos de tamanhos pequenos, como um slide de PDF, mas podem às vezes ser muito maior > 5 GiB.

Nossa estratégia atual para empurrar esses arquivos está usando scripts em lote e RoboCopy. Para os grandes push, nós usamos um cliente BitTorrent para gerar um arquivo torrent, e então usamos o batch-RoboCopy para empurrar o torrent para uma pasta nas máquinas remotas que estão sendo monitoradas por um cliente BT instalado. Muitas vezes, esses dados precisam ser empurrados imediatamente com uma pequena janela de tempo. Temos várias máquinas em uma sala de controle que são idênticas às máquinas no chão que usamos para esses impulsos.

Ocasionalmente, temos a necessidade de executar um programa nas máquinas remotas, e atualmente usamos o lote e o PSexec para lidar com essa tarefa.

Gostaríamos muito de poder responder a esses impulsos de última hora com "desculpe, sua própria culpa", mas isso não acontecerá. O método BT nos permitiu ter um tempo de resposta muito mais rápido, mas todo o processo em lote pode ficar confuso quando há vários trabalhos sendo enviados. Usamos o Enterprise Ghost para outros processos e ele não funciona bem em grande escala, além de ser muito caro para uma tarefa anual como essa.

EDITAR: Há um requisito difícil de que as máquinas remotas no chão estejam executando o Windows. As máquinas de controle não possuem um requisito de sistema operacional rígido. Eu realmente gostaria de ficar longe do Multicast por causa de complicações com roteadores upstream. É Multicast ou BitTorrent a melhor maneira de ir sobre isso? Existe outro protocolo que funcione melhor?

    
por WMIF 11.10.2012 / 22:55

4 respostas

11

Você realmente quer um Programa de Transferência de Arquivos Multicast: UFTP , com documentação decente e extensões no estilo proxto para NAT / roteador também.

    
por 11.10.2012 / 23:01
4

Você pode querer investigar assassinato

Murder is a method of using Bittorrent to distribute files to a large amount of servers within a production environment. This allows for scaleable and fast deploys in environments of hundreds to tens of thousands of servers where centralized distribution systems wouldn't otherwise function

.

O assassinato foi / é desenvolvido pelo pessoal do twitter , e eles estão usando diariamente para distribuir arquivos.

    
por 19.10.2012 / 09:18
3

Uma nova solução pode ter aparecido: Sincronização de BitTorrent

Edição posterior: Atualmente, eu provavelmente recomendaria o assistente do git-annex ou syncthing mas existem muitos alternatives

    
por 24.04.2013 / 10:00
0

Eu poderia ter uma ideia para você que ajudaria. Perdoe-me porque não entendo completamente por que isso precisa ser tão complexo, mas se sua necessidade é mantê-lo simples para o usuário final e, ainda assim, tornar os dados rápidos e fáceis de acessar dentro de uma LAN, talvez você possa optar por um Dispositivo NAS. Eu tenho um Synology DS1812 + pode RSYNC com outra unidade Synology ou vários dispositivos compatíveis RSYNC, ele tem um aplicativo capaz de torrent chamado "Download Station", eu sei que você pode baixar arquivos torrent do compartimento de unidade e eu acredito que você também pode criar ou postar um arquivo torrent com esse aplicativo para permitir que outros baixem um arquivo de que precisem. Tem aplicativos para dispositivos móveis Apple e Android. Também pode fazer transferências por FTP. Este compartimento de unidade pode lhe dar a capacidade de enviar um arquivo para ele rapidamente, em seguida, dispersá-lo entre a LAN de forma rápida e fácil. Sugiro colocar os dados dentro da LAN apenas para facilitar o acesso dos usuários da LAN, mas a beleza desses dispositivos NAS é que você pode colocá-los em qualquer lugar on-line, desde que eles tenham uma conexão rápida com a Internet. Talvez um dos dispositivos NAS mais avançados da Synology seja adequado às suas necessidades.

Synology tem uma interface virtual que você pode procurar para ter uma ideia melhor, se isso for útil para você. Vou colar o link abaixo para a interface virtual

link

Este dispositivo também permite que as pessoas acessem seus dados por meio de uma interface da web ou aplicativo de dispositivo móvel.

Espero que isso ajude e, como eu disse, me perdoe se eu não entendi a pergunta corretamente.

    
por 15.10.2012 / 20:22