Transferência de dados rápida e confiável de / para a China

Question

Somos uma empresa pequena e precisaremos transferir grandes quantidades de dados (10 GB + de cada vez) entre a Europa e a China em um futuro próximo.

Como muitos podem ter experimentado, as conexões de Internet para ou da China podem ser pouco confiáveis e lentas às vezes, sem nenhuma razão aparente. Por exemplo, enquanto enviar dados para a China via FTP geralmente funciona bem, pode ser dolorosamente lento na outra direção.

Atualmente, estamos investigando novas maneiras de ter altas taxas de transferência nas duas direções. Até agora nós tentamos:

1. FTP (veja acima)
2. FTP sobre serviços de VPN (geralmente mais lentos que conexões diretas)
3. F2F (como Retroshare ou Freenet - lento !!)
4. Aspera (rápido, mas caro !)
5. BitTorrent (nós finais inacessíveis, b / c de firewalls que não devemos configurar)

Gostaríamos de tentar:

1. Armazenamento em nuvem (por exemplo, Amazon S3, Google Storage) - esses serviços são sempre acessíveis de maneira confiável dentro da China?
2. VPN ponto-a-ponto (atualmente não é possível, b / c da rede, veja acima)

Eu ficaria muito grato por ouvir de pessoas que já lidaram com esse tipo de problema antes.

    

Answer 1

Eu sugeriria usar o rsync para fazer esse tipo de transferência. Ele pode usar ssh para criptografar o tráfego (para que você não precise usar uma VPN separada), compacta o fluxo (que pode ser bastante eficaz dependendo do tipo de dados) e pode reiniciar as transferências se elas falharem uma soma de verificação contínua para ver o paradeiro de uma transferência falhada e de onde começar novamente.

Eu uso o seguinte que incorpora o acima (como o cliente rsync na minha / maioria das máquinas usam ssh por padrão):

rsync -avz <local file> username@hostname:/path/where/to/place/file/<remote file>

Você pode usar --progress para ver no terminal como a transferência está progredindo. Normalmente, o ssh está dentro e usa a máquina local rsync client, mas também há um daemon rsync. Eu nunca usei isso, mas vale a pena investigar se você quer um daemon real parecido com ftpd .

Como ele usa o SSH, você também pode alterar as portas que ele usa se os firewalls bloqueá-los. ou seja, você não precisa ter o ssh escutando na porta 22 (na verdade, não evito pessoas aleatórias na internet verificando meu SSH).

Geralmente é usado em sistemas Unix (que inclui Macs), mas você pode instalá-lo com o Cygwin também se você precisa usá-lo no Windows.

Se você quer um serviço real, eu uso rsync.net que, obviamente, fornece armazenamento para o qual você pode facilmente sincronizar os dados. Eles têm um centro de dados europeu na Suécia que se encaixam em seus propósitos e não limitam as velocidades de tráfego de entrada / saída (apesar de verificar as letras pequenas).

    

Answer 2

Sugiro que você teste uma remessa física de um disco ou pen drive para a China para entender por quanto tempo & quanto seria necessário para enviar os dados através de uma companhia de navegação. A largura de banda é enorme de uma perspectiva de dados. Você pode criptografar e enviar várias remessas para fornecer redundância e proteção, e você não tem infraestrutura para manter.

    

Answer 3

Alguns de vocês pediram para saber o que nos decidimos, finalmente.

Apesar de termos tentado e testado quase todas as soluções sugeridas acima, o uso do protocolo e software proprietário da Aspera parece fazer o melhor trabalho para o nosso propósito.

Talvez alguém ainda saiba de algo melhor e gostaria de compartilhar isso?

    

Answer 4

Eu acho que você precisa de um sistema de arquivos distribuídos.

Ceph é uma plataforma de armazenamento de software livre, implementa armazenamento de objetos em um único cluster de computador distribuído e fornece interfaces para armazenamento em nível de objeto, bloco e arquivo. O Ceph visa principalmente a operação completamente distribuída sem um único ponto de falha, escalável ao nível do exabyte e disponível gratuitamente.

O Ceph replica os dados e os torna tolerantes a falhas, usando hardware comum e não requer suporte de hardware específico. Como resultado de seu design, o sistema é autocorretivo e autogerenciável, visando minimizar o tempo de administração e outros custos.