FTP: Determine a pegada de soma dos arquivos no disco antes de iniciar a transferência

Question

Estou baixando uma grande quantidade de dados de um servidor SFTP: várias pastas, vários arquivos. O gráfico de tudo que estou baixando parece uma floresta cheia de galhos.

A ideia atual para este projeto é:

1. FTP todos os arquivos para o ambiente local
2. Descomprima todos os arquivos quando eles estiverem no ambiente local
3. Executa verificações de integridade de dados em cada arquivo
4. Envie todos os dados descompactados que passam a etapa três para um sistema de banco de dados com armazenamento provisionado automaticamente

Estou armazenando todos os dados localmente em um volume do EBS conectado a uma instância do EC2 na AWS. Depois de iniciar o primeiro passo acima, volto à minha instância para encontrar o volume do EBS cheio. Então, eu dobrei o tamanho do disco rígido, reinicie o primeiro passo - e descubra que o volume está cheio de novo várias horas depois.

Tendo escrito o procedimento acima, posso ver valor no desenvolvimento de alguns scripts no meu final que processam iterativamente vários subconjuntos dos dados, de modo a evitar uma pegada muito grande ao mesmo tempo. Mas, eu estava esperando ser preguiçoso e apenas provisionar um volume massivo de EBS por algumas horas, fazer o trabalho todo de uma só vez e economizar várias horas de tempo de desenvolvimento.

Dado que eu só tenho acesso SFTP aos dados (sem ssh; sem outros protocolos) existe um comando FTP que irá me dizer a pegada de todos esses arquivos no disco? Eu gostaria de usar essa informação para saber um bom limite inferior para o tamanho do volume do EBS que eu provisionarei.

    

Answer 1

lftp tem um comando du embutido que funciona sobre o sftp (ou qualquer protocolo lftp suporta, presumivelmente) por recursivamente listando tudo e resumindo.

$ lftp sftp://user@hostname/
lftp HOST:~> du -s
… wait a while …
1656724 .

O lftp é empacotado em Debian , Ubuntu , e várias distribuições baseadas em RPM .