CLI: baixe rapidamente uma grande quantidade de arquivos pequenos sobre o ftp

1

Estou baixando um grande número de arquivos pequenos (mais de 800, cada um em torno de 5k). Eu estou fazendo isso com o comando mget do lftp. Mas é bem devagar. Cada arquivo leva aproximadamente 1s. Existe uma ferramenta / maneira de acelerar isso?

Obrigado por toda a resposta, mas eu só tenho acesso ftp a este servidor

    
por lang2 07.04.2013 / 13:02

1 resposta

1

Se você tiver acesso à linha de comando do servidor, faça o logon e agrupe-os em um arquivo com zip, gzip, bzip ou tar (o que estiver disponível e puder ser revertido no destino - você não disse quais sistemas operacionais estão envolvidos). Isso reduz o número de arquivos _e _ o número total de bytes a serem transferidos.

Se você só tem acesso FTP ao servidor: alguns servidores estão configurados para entregar um arquivo zip / gzip (que eles criam em tempo real) se você apenas pedir por ele. Por exemplo, se seus arquivos estiverem em ftp://example.com/some/folder/ , tente buscar ftp://example.com/some/folder.zip . Pode não funcionar, mas vale a pena tentar.

    
por 07.04.2013 / 14:50