Wget baixou mais dados do que o arquivo real

Question

Eu baixei a imagem do lubuntu usando o wget com o tamanho de arquivo mencionado de 694MB, mas o arquivo baixado é de tamanho 789MB. quando eu faço wget -c, dá que o arquivo já está baixado. Mas o tamanho do arquivo é 100MB maior que o dado.

O tamanho do arquivo baixado pode ser visto aqui:

-rw-rw-r-- 1 alex alex  98537904 Jun  1  2011 R284575.exe
-rw-rw-r-- 1 alex alex      4928 Sep 25 11:06 wget-log
-rw-rw-r-- 1 alex alex 827390116 Sep 25 11:06 lubuntu-14.04-desktop-amd64.iso
-rw-rw-r-- 1 alex alex    148598 Sep 25 11:44 lubuntu-14.04-desktop-amd64.iso.1

Aqui podemos ver o tamanho da imagem do lubuntu quando um novo download é iniciado

wget--limit-rate=40k http://cdimage.ubuntu.com/lubuntu/releases/14.04/release/lubuntu-14.04-desktop-amd64.iso
wget--limit-rate=40k: command not found
alex@dracula:~/Downloads$ wget http://cdimage.ubuntu.com/lubuntu/releases/14.04/release/lubuntu-14.04-desktop-amd64.iso
--2014-09-25 11:44:45--  http://cdimage.ubuntu.com/lubuntu/releases/14.04/release/lubuntu-14.04-desktop-amd64.iso
Resolving cdimage.ubuntu.com (cdimage.ubuntu.com)... 91.189.92.174, 2001:67c:1360:8c01::20
Connecting to cdimage.ubuntu.com (cdimage.ubuntu.com)|91.189.92.174|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 727711744 (694M) [application/x-iso9660-image]
Saving to: ‘lubuntu-14.04-desktop-amd64.iso.1’

 0% [                                                                                                             ] 1,44,218    20.8KB/s  eta 9h 29m 
^C

Como eu resolvo esse problema? Tenho certeza de que posso recuperar o arquivo necessário do arquivo baixado. Alguém pode me apontar nessa direção, por favor.

    

Answer 1

algumas observações:

a) o servidor web lhe diz (se é um bom servidor web) através de uma entrada http-header sobre o tamanho do conteúdo que está prestes a chegar na linha. veja: link isso pode ser a verdade ou talvez não seja.

b) se o servidor web não parar de enviar dados depois de atingir o tamanho do conteúdo do que o servidor web, ou mentiu sobre o tamanho do conteúdo ou outra coisa.

c) alguma parte envolvida entre o seu wget e o servidor da Web manipulado com os dados.

então, eu usaria pelo menos 'https' para pelo menos tornar c) muito mais difícil.

a listagem de arquivos no link mostra que o servidor em si acha que o tamanho do conteúdo é aproximadamente 694mb. a única maneira válida de verificar, se o arquivo baixado é exatamente o que está no servidor (bit a bit) é verificar o sha256sum downloaded_file contra a entrada em link

você também pode tentar as versões de torrent ou você pode querer experimentar os links zsync (por exemplo, link ). o que é o zsync? bem: link

"O zsync é um programa de transferência de arquivos. Ele permite que você baixe um arquivo de um servidor remoto, onde você já tem uma cópia de uma versão mais antiga do arquivo no seu computador. O zsync baixa apenas as novas partes do arquivo. "

para "Eu tenho certeza que eu posso recuperar o arquivo necessário do arquivo baixado" você teria que ter certeza de que pelo menos "alguns blocos" dos dados que você baixou é igual a alguns dos blocos do original Arquivo. então, como testar isso? você checksum bloqueia seu arquivo baixado e verifica contra as somas de verificação dos blocos do arquivo original. Parabéns, você reinventou o protocolo rsync e é isso que o zsync usa (para baixar apenas os blocos que faltam).