Não é possível baixar uma grande quantidade de dados; posso baixá-lo por lote?

Question

Gostaria de fazer o download da minha imagem de backup de uma instância do Google Compute Engine, mas ela é muito grande para ser baixada (900+ MB). É um arquivo tar.gz.

No entanto, o problema é que estou agora na China e o GCP está bloqueado. Então devo usar VPN.

No entanto, a VPN é tão lenta e instável e, portanto, não consigo baixar uma quantidade tão grande de dados. Sempre que eu tentei baixá-lo, o download nunca foi concluído antes de ser interrompido e, eventualmente, falhou no meio do grande volume de download. Eu uso o Google Chrome para baixá-lo.

Como o download funcionou até o ponto de uma falha (por exemplo, 428/932 MB), talvez seja possível fazer o download se você puder retomar o processo novamente ou separar a quantidade de volume baixado.

Posso baixá-lo separando a quantidade de conteúdo baixado para evitar a falha?

    

Answer 1

Primeiro, você pode compactar o arquivo pelo 7Zip, cuja compactação é muito melhor que o gzip, para reduzir o tamanho do download.

Em segundo lugar, você pode usar um gerenciador de downloads que retoma downloads quebrados, para que você possa continuar seu download quando ele morrer de onde parou.

Não sabendo o sistema operacional que você usa para baixar, aqui estão alguns download gerentes que estão disponíveis em todas as plataformas:

• Gerenciador de download Xtreme
• JDownloader

Mais gerenciadores de downloads muito bons estão disponíveis se você estiver usando o Windows.

    

Answer 2

Programas como curl ou wget têm opções --continue ( wget ) e --continue-at ( curl ), que permitem retomar os downloads interrompidos, desde que os dados não tenham sido corrompidos.

wget , por padrão tentará retomar o download automaticamente quando ocorrer uma interrupção, para que você não precise se preocupar com a transferência instável.

A opção curl de --continue-at geralmente requer um valor numérico, mas se você passar - em vez de um número, ele usará seu arquivo de saída para determinar de qual ponto ele deve iniciar o download.

Uso da amostra (de man wget ) wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z , curl ftp://sunsite.doc.ic.ac.uk/ls-lR.Z -o myfile.Z --continue-at -

Se você precisar usar alguns cookies específicos, cabeçalhos, enviar dados POST ou qualquer outra coisa para receber o arquivo, navegadores modernos (através do painel de ferramentas do desenvolvedor, ou seja, F12 ) permitem copiar o curl comando de solicitação que pode ser usado para acessar esse recurso. (veja imagens)

Firefox:

Cromo:

Copieissocomocurlecolenoconsoleanexandoossinalizadoresapropriados.Seocomandofalhar,vocêpodeapenaschamarcurlmaisumavez(oscookiespodemserinvalidados,entãovocêpodeprecisarpediraonovocomandocurldonavegador)econtinuarodownload.

Istopodeparecerumprocessocomplicadoparaobterocomando,masémuitoversátil-pode-sebaixarquasetodosostiposdemateriaisquevocêvênoseunavegadorpelocomandocurlfornecidopelonavegador,possivelmenteadivinhandoospróximoslinks¹ecolandoasaídajuntos.

¹UmlivropodesercarregadoparaquevocênãocarreguePDFinteiroporumasolicitação,maspáginaporpágina,cadaumcomumendereçodiferente.Portanto,vocêprecisafazersolicitaçõesparawww.example.com/page1.pdf,www.example.com/page2.pdfewww.example.com/page3.pdfparaobtertrêspáginas.
Algunsfluxosdevídeonãoenviamvídeosparaumasolicitação,masexigemqueoclienteperguntesobrecadasegmentodevídeoseparadamente.
Emambososcasos,omecanismoésimples:adivinheopróximopadrãodegeraçãodelinks,peçatodososlinkse,emseguida,"concatene" (de acordo com o tipo de arquivo) a saída.