Compactação de dados durante a transferência para o Armazenamento do Google Cloud Coldline

1

Estamos usando o Google Coldline Storage para fazer backup e arquivar determinados dados. Estamos usando o gsutil rsync para espelhar basicamente o conteúdo de um diretório local com o Google Coldline Storage Bucket e, em algum momento, quando os dados não são mais necessários, os deixamos on-line e adicionamos uma tag de arquivamento. Funciona bem, mas agora queremos compactar os dados que estão na linha fria, já que não estaríamos tocando muito. É possível compactar os dados que estão agora no armazenamento da linha fria usando ferramentas gsutil ou é tarde demais e deveria ter sido feito antes do upload?

Uma questão de compactação secundária; O gsutil cp tem um sinalizador de compressão (-z) que permite que os dados sejam comprimidos durante a cópia do arquivo, mas o rsync da gsutil não tem isso. Portanto, digamos que gsutil cp data para coldline com compactação, mas agora queremos apenas rsync quaisquer alterações com compactação, como isso seria tratado se o gsutil rsync não tivesse recursos "on the fly" de compactação? Qualquer sugestão e conselho seria muito apreciada.

thx antecipadamente

    
por Kar Hung Tom 26.10.2017 / 01:11

1 resposta

1

Você pode compactar os dados que já carregou, mas isso implicaria a criação de um novo objeto (o compactado) e a exclusão do objeto antigo (não compactado). Dependendo de quanto tempo o objeto antigo existe, isso pode resultar em uma cobrança de exclusão antecipada , já que você armazenou o objeto usando a classe de armazenamento Coldline.

gsutil rsync não suporta compactação.

    
por 26.10.2017 / 01:24