A gsutil tem um comando rsync (introduzido a partir da versão 4). Você pode usar isso para sincronizar dados do seu bucket para um disco local ou para o S3.
Basicamente, minha pergunta é: quais são as melhores maneiras de manter meus dados do repositório do Google Cloud Storage seguros?
Entendo que o uso de controle de versão de objeto é a primeira medida que você pode tomar para se proteger contra a exclusão acidental de dados. No entanto, eu também gostaria de manter backups externos (seja localmente ou em outro provedor como o S3). Há alguma maneira recomendada de fazer isso?
Uma direção que eu estava procurando era manter incrementais, rsync , como cópias locais dos meus buckets. Eu esperava que gsutil fosse capaz de ter um comando sync (como s3cmd faz), mas parece que não.
Fazer backup de outro provedor de nuvem como o S3 também seria útil, mas, como entendo, a única maneira de fazer isso é fazer o download de todos os dados para uma instância (no datacenter do Google ou Amazon) e enviá-lo para o intervalo de destino. Mas isso exigiria novamente uma sincronização incremental.
Remko,
Você pode usar o link . Minio Client aka mc foi escrito em Golang, lançado sob a licença Apache versão 2. Você pode tentar a operação "mc mirror" para fazer isso.
$ mc mirror localDir s3/RemoteDir gcs/RemoteDir
localDir: Local directory
RemoteDir: Your bucket on S3
s3 alias https://s3.amazonaws.com with signature version support "S3v4"
gcs alias https://storage.googleapis.com with signature version support "S3v2"
RemoteDir: Your bucket on google cloud storage
Espero que isso ajude & patch / contribuição para o projeto minio é sempre bem-vindo. :)