A maneira mais rápida e confiável de transferir arquivos de 100GB globalmente? [duplicado]

1

Nosso mais recente projeto envolve o envio de arquivos de 100 GB + de nosso escritório em Dallas para nosso cliente na Austrália. Pediram-me para montar a maneira mais rápida e confiável de transferir esses arquivos. Normalmente, isso não seria um problema, mas quando eles disseram 100GB eu decidi que precisava pedir conselhos. Eu também estou em uma crise de tempo, então eu tenho cerca de 24 horas para montar uma solução profissional (sem grande desenvolvimento de software).

Ele deve estar gritando rápido e deve ter tolerância às interrupções do serviço de internet no lado de upload e download (retomar o upload e continuar o download). Ele também precisa ser o mais prático possível no lado do download do cliente. Uma ferramenta de interface gráfica seria ótima.

Meu primeiro pensamento foi usar uma conta do Amazon S3 com um gerenciador de download / upload de terceiros, mas não tenho certeza de quão rápidas são as limitações de largura de banda S3 da Amazon. O EC2 é mais rápido? Também o site da Amazon tendia a atender a programadores de software - existem aplicativos pré-definidos confiáveis que suportam uploads e downloads em várias partes?

    
por uberdanzik 14.06.2013 / 04:01

1 resposta

2

O fator limitante será o tamanho do pipe entre você e seu cliente. Não há tecnologia que seja mais rápida que outra. Qualquer mecanismo moderno de transferência de arquivos poderá saturar qualquer link que você tenha.

A primeira coisa a fazer para reduzir o tempo de transferência é compactar eficientemente seus dados. Experimente diferentes formatos de compactação, como rar ou 7zip, para ver qual deles é mais eficaz.

Como todos os métodos de transferência são bastante equivalentes em termos de velocidade, concentre-se na capacidade de reinicialização. SCP ou SFTP têm bons recursos de reinicialização e são facilmente programáveis por script. Se, afinal, os arquivos precisarem acabar em vários escritórios do seu cliente, então o BitTorrent é uma boa opção, porque seus escritórios podem compartilhar peças entre si.

No entanto:

Never underestimate the bandwidth of a station wagon full of tapes hurtling down the highway. —Tanenbaum, Andrew S. (1996). Computer Networks. New Jersey: Prentice-Hall. p. 83. ISBN 0-13-349945-6.

É provável que a maneira mais rápida em termos de tempo decorrido seja usar um disco rígido USB ou equivalente e apenas enviá-lo pelo correio ou enviá-lo via correio. Eu sugiro que você faça alguns testes com seu cliente para ver que tipo de transferência você obtém, eles fazem as contas para ver se uma station wagon cheia de fitas rodando pela rodovia é mais rápida. (Ou um disco rígido USB em um jato, o que você preferir.)

    
por 14.06.2013 / 04:44