Distribuindo um conjunto de dados grande (80 GB +) pela Internet [duplicado]

2

Eu vi algumas perguntas semelhantes, mas elas estão lidando com arquivos com menos de 1 GB e as respostas geralmente recomendam serviços como Dropbox, S3 e Skydrive. Isso não parece ser adequado para minhas necessidades.

Eu tenho um conjunto de dados muito grande (Dota2 public matchmaking history), que em sua forma bruta no MongoDB (sem índices) é de cerca de 800GB. Despejando isso e usando a compactação de nível 7Zip Ultra eu posso alcançar cerca de 9-10% de taxa de compressão, eu posso reduzir esse tamanho para cerca de 80GB para distribuição. Eu estou procurando uma maneira de disponibilizar publicamente esses arquivos compactados, mas não tenho certeza da melhor maneira de distribuí-los. Eu posso dividir os arquivos em partes menores, despejando com uma consulta. Isso tem um impacto insignificante na taxa de compressão.

A minha internet em casa tem uma velocidade de upload muito lenta (1,3Mbps no máximo, muitas vezes limitada), por isso prefiro não propagar um torrent a partir da minha ligação doméstica.

Qual é a melhor maneira de distribuir este conjunto de dados? Poderia haver uma maneira de compactar ainda mais o conjunto de dados?

EDIT: Uma vez que esta questão foi marcada como duplicada, eu não acho que posso respondê-la mais. Não tenho certeza de como alguém pensa que esta é uma duplicata de uma pergunta em que a resposta aceita é o Dropbox, mas para qualquer um que se deparar com essa questão pelas melhores opções, parece ser o seguinte:

Use o BitTorrent como protocolo de transferência, mas hospede os arquivos com um provedor "Seedbox". Estes parecem ser provedores VPS focados na largura de banda fornecida e no espaço de armazenamento para usuários pesados do protocolo BitTorrent. Como um preço médio, espaço suficiente e largura de banda para minhas necessidades podem ser adquiridos por cerca de US $ 10 por mês. A fim de obter os arquivos para os provedores de hospedagem, vou copiá-los para uma unidade externa e, em seguida, enviá-los para a hospedagem de vários locais onde eu tenho acesso a conexões de internet.

    
por Charles A 21.06.2013 / 13:00

0 respostas