FTP para transferência do GCS

Question

Gostaria de saber se existe uma maneira eficiente de fazer backup de arquivos de um (S) servidor FTP (Exavault) para o Google Cloud Storage (GCS). Estamos usando o Exavault como um serviço de FTP gerenciado e queremos fazer backup regularmente dos arquivos no GCS, depois limpar os arquivos com mais de 30 dias do Exavault.

Implementação atual (Bloody Slow):

1. Monte o FTP no sistema de arquivos na instância do Google Compute usando curlftpfs
2. Executar gsutil rsync para sincronizar arquivos do armazenamento montado para o GCS Bucket
3. Excluir arquivos com base em mtime +30

Este método está muito lento e não acredito que seja uma solução razoável neste momento.

Existem soluções que podem fazer algo assim, com ~ 500 GB de dados, com mais eficiência?

    

Answer 1

Vários clientes ftp, montando cada diretório de nível superior no sistema como um curlftpfs separado. Envie para vários servidores em nuvem se estiver maximizando a largura de banda.

Importação de mídia off-line. Supondo que você possa envolver todos os envolvidos na mídia física .