Usando torrent para compartilhar arquivos muito grandes

Question

Em nosso instituto, precisaremos em breve compartilhar rotineiramente grandes volumes de dados (intervalo de vários terabytes).

1. Faz sentido usar o BitTorrent para essa tarefa?

2. Qual o tamanho da sobrecarga da CPU / memória esperada, comparado a servidores FTP comuns?

3. É possível atingir velocidades que correspondam a uma transferência direta por FTP ao copiar de um mesmo par BitTorrent (o servidor de armazenamento original) para outro?

Muito obrigado.

    

Answer 1

1. Eu acho que sim. Tenha cuidado com o tamanho do bloco escolhido, pois ele precisará ser maior que o padrão para uma quantidade tão grande de dados
2. Não significativo durante a transferência, sua largura de banda será o gargalo não o seu CPU. Gerar o metarquivo de torrent (que envolve o hash de cada bloco e todo o conjunto de dados) em primeiro lugar levará algum tempo, assim como a verificação de hash final após a conclusão da transferência no cliente
3. Sim. A menos que seu provedor de conectividade, o provedor do cliente, ou em algum lugar entre, esteja modelando seletivamente o tráfego P2P.

Para atenuar os problemas relacionados aos pontos 1 e 2, se você puder dividir os dados em partes menores e tiver torrents separados para cada fragmento, poderá achar mais fácil lidar com o tamanho dos dados.

Observe também que você precisará regenerar os meta-arquivos de torrent se qualquer dados no (s) arquivo (s) que eles cobrem forem atualizados. Se pequenas partes dos dados mudarem sem o resto mudar, você provavelmente achará o rsync uma solução muito mais eficiente.

Qual é o tamanho dos arquivos no conjunto de dados e como é o spread (vários arquivos multi-gigabyte ?, muitos menores? ...)?

    

Answer 2

Você não mencionou quantas máquinas estarão na sua "malha" para o bittorrent; se for só um pouco, então o bittorrent pode não valer o trabalho de configurar os arquivos torrent e trazê-los para as pessoas, além de executar o rastreador.

Eu também penso nisso de tempos em tempos e sempre volto ao uso real da BT; compartilhamento de arquivos na Internet, onde todos só precisam contribuir com uma parte da largura de banda. Em redes domésticas ou de trabalho de 100Mbs, uso servidores da Web e links de passagem.

    

Answer 3

1. Sim, muito possivelmente, você economizaria muitos custos de largura de banda com a provável despesa de velocidade média de download por usuário.
2. Bastante baixo, depende do servidor, obviamente, mas em termos gerais, um servidor atuando como um peer BT para um enxame de tamanho decente terá menos uso da CPU do que o mesmo servidor enviando o mesmo arquivo para muitos clientes.
3. Tudo é possível, pode ser muito mais rápido ou muito mais lento, depende do tamanho do enxame a qualquer momento e de muitos outros fatores que você nunca saberá com certeza.

A coisa mais importante a se focar é na experiência do cliente, se você não pode se dar ao luxo de irritar seus clientes, então vá com o FTP como ele é controlável - se eles são experientes em tecnologia e entendem os benefícios para você e para eles vai ficar bem com a BT. Boa sorte.