No momento, estamos avaliando o uso do Google Storage Nearline para backups. Os servidores em questão estão localizados dentro de um data center Hetzner, em média 80-100Mbit / s upstream e 300-500Mbit / s downstream. Estamos usando o Googles gsutil para acessar o armazenamento e seu comando rsync para sincronizar nossos diretórios de backup. Embora os downloads sejam rápidos o suficiente, o upload de arquivos demora muito: a velocidade máxima de upload é de aproximadamente 8-11 Mbit / s. Isso está acontecendo apenas com gsutil e não é realmente útil para um local de armazenamento de backup.
Sei que arquivos grandes devem ser enviados usando uploads de compostos paralelos, mas o Google recomenda não habilitá-lo para o Nearline .
Agora, minha pergunta é: essas baixas velocidades de upload são esperadas? Existe uma maneira de otimizá-lo? Assim, geramos mais dados do que podemos enviar para o Armazenamento do Google e precisaremos procurar outras soluções.
Se você tiver um grande número de objetos para sincronizar, convém usar o gsutil -m opção, para executar sincronização paralela (multi-threaded / multi-processamento): gsutil -m rsync -d -r data gs://mybucket/data
"SEJA CUIDADO QUANDO USAR -D OPÇÃO!".