Como posso baixar uma subparte do arquivo no linux / windows?

1

Eu quero baixar um arquivo enorme (conjunto de dados) que tem cerca de 200 GB, mas não tem espaço suficiente em disco no meu PC conectado à Internet. Quero fazer o download de uma parte do arquivo (por exemplo, 30 GB) em cada execução e mover os blocos para o meu servidor (que tem grande capacidade de armazenamento). Então eu eventualmente juntarei os pedaços para construir o arquivo inteiro. (FYI, o servidor é isolado na rede, eu transfiro os arquivos usando uma memória flash.)

Como posso fazer o download de uma parte de um arquivo (por exemplo, de 10.000.000'th byte para 20,000,000'th byte)?

Qualquer ferramenta / comando no linux (preferido) ou windows é reconhecido.

Obrigado

    
por Ali 15.04.2014 / 21:56

2 respostas

2

Você pode usar cURL para isso. Posições são especificadas em bytes:

curl -r 10000-20000 http://server/file >chunk2

para obter um segundo pedaço de 10kB.

    
por 15.04.2014 / 23:49
1

Para que você faça o download de um arquivo dessa maneira, seria mais fácil se a pessoa que o forneceu o dividisse em pedaços, então você usaria a ferramenta com a qual eles o separaram para colocá-lo de volta.

Para dividi-lo em partes de maneira confiável, você precisaria do arquivo inteiro de qualquer forma, o que não é possível obter.

    
por 15.04.2014 / 22:02