Eu preciso executar um rsync (não apenas copiar ou mover) de todos os meus blocos do s3 para o google cloud. Eu preciso criar a mesma infra-estrutura do s3 para o google. Eu tenho como 2Tera em s3, e todos os dias eu recebo novos arquivos ..
Minha solução hoje é
gsutil rsync -r -m s3: // balde gs: // balde
Mas esta solução é mais lenta.
Você tem uma ideia mais rápida?
Obrigado.
Se você estiver sincronizando uma grande quantidade de dados entre nuvens, convém configurar uma conta do Google Compute Engine e executar a gsutil lá. Como as transferências de dados da gsutil entre provedores fluem através da máquina em que a gsutil está sendo executada, isso pode fazer com que sua transferência seja executada de forma significativamente mais rápida do que a execução da gsutil em sua estação de trabalho local.
Referência: link
A resposta atualizada a essa pergunta é usar o Serviço de transferência do Google :
What is Storage Transfer Service?
Storage Transfer Service transfers data from an online data source to a data sink. Your data source can be an Amazon Simple Storage Service (Amazon S3) bucket, an HTTP/HTTPS location, or a Cloud Storage bucket. Your data sink (the destination) is always a Cloud Storage bucket.