Migrar Big Data do AWS S3 para o Azure

Question

Temos 85 TB de dados no bucket do AWS S3. Qual é a melhor opção para movê-lo para o Azure?

Eu vejo duas opções agora:

1. Para comprar o AWS Snowball Edge . Poderei importar dados para o Azure a partir dele?
2. Para comprar Caixa de dados do Azure . Poderei exportar dados da AWS para ela?

Mais uma dificuldade é que os dados são um zilhão de pequenos arquivos (imagens), então a AWS cobrará por solicitações GET e o Azure por solicitações PUT se escolhermos seus respectivos dispositivos?

    

Answer 1

Eu chamaria Amazon e Azure para discutir os serviços mais recentes para mover esses dados.

Da minha experiência, você tem duas opções:

1. Durante a transferência de dados por fio usando o Azure . O Azure oferece um serviço chamado Azure Data Factory que oferece suporte à movimentação de dados de vários fornecedores e serviços para o Azure. Você terá que pagar por gets, puts, transferência de dados, etc.
2. Dispositivos de transferência de dados . A Amazon e o Azure suportam o uso de dispositivos físicos para exportar / importar dados para a nuvem. Você iria solicitar um serviço de exportação da Amazon, que será entregue em Snowball. Em seguida, copie os dados do Snowball para as unidades de disco físicas que você envia para o Azure para importação.

85 TB não é uma grande quantidade de dados hoje (85 PB seriam), portanto, os tempos de transferência de dados provavelmente serão menores do que os da Amazon, copiar dados e importar para o Azure. Dado o mundo real, isso provavelmente levará uma semana para a transmissão e um mês para exportação / importação. Isso não considera o tempo para realmente verificar se os dados foram transferidos sem erro. Esta fase provavelmente levaria mais uma semana ou duas.

    

Answer 2

Para uma transferência estritamente superior à da transferência eletrônica, você poderia criar um produto como o Cloud Berry Labs 'Drive, que permitirá mapear o armazenamento do S3 e do Azure como unidades com letras. Então você pode simplesmente copiar entre eles. Acredito que a versão do cliente faria tudo o que você precisa, pois não é necessário compartilhar a unidade na rede.

Cloud Berry Labs

Uma observação sobre este software é que ele armazena os arquivos à medida que eles são transferidos, para que as janelas possam ser transferidas, mesmo na fila em que ainda podem estar sendo transferidos, especialmente com arquivos grandes.