Como forçar o wget a gerar um resumo?

2

Eu tenho um script bash que lança uma série de comandos wget e registra a saída. Eu uso as seguintes opções:

wget --no-verbose --page-requisites --adjust-extension --convert-links --backup-converted --timestamping --wait=1 --random-wait --append-output="$logfile" --recursive --level=2 http://example.com

Os registros devem terminar com:

Terminé — 2014-10-09 18:06:40 —
Temps total effectif : 1m 7s
Téléchargés : 11 fichiers, 79K en 0,06s (1,22 MB/s)

Mas às vezes não há tal resumo, tudo que vejo são os erros que aconteceram:

http://example.com/robots.txt:
2014-10-09 18:06:41 erreur 404 : Ce fichier n'existe pas (404).
http://example.com/index.html:
2014-10-09 18:08:27 erreur 404 : Ce fichier n'existe pas (404).
http://example.com/folder1/folder2/default.asp.html:
2014-10-09 18:08:31 erreur 404 : Ce fichier n'existe pas (404).
http://example.com/folder1/index.html:
2014-10-09 18:08:56 erreur 404 : Ce fichier n'existe pas (404).
http://example.com/folder1/folder2/folder3/"../images/bullet.gif":
2014-10-09 18:09:28 erreur 403 : Action interdite.

Por que o wget não mostra um resumo? É porque nenhum arquivo novo foi baixado ou porque houve muitos erros de servidor (404, 403)?

    
por Manu 30.10.2014 / 10:31

1 resposta

3

Is it because no new files have been downloaded,[...]?

Sim. É isso aí. Não haverá resumo se zero bytes tiverem sido baixados. É por causa da segunda metade da declaração if abaixo: "total_downloaded_bytes! = 0"

Fonte do wget Git repo :

if ((opt.recursive || opt.page_requisites
       || nurl > 1
       || (opt.input_filename && total_downloaded_bytes != 0))
      &&
      total_downloaded_bytes != 0)

How to force wget to output a summary?

Parece não haver opção para forçar isso. Eu posso pensar nessas alternativas:

  • Remova as duas linhas da fonte e recompile sua própria compilação privada.
  • Envie uma solicitação de recurso para uma opção explícita para o rastreador de bug do wget .
  • Faça o download de um arquivo fictício de 1 byte a cada vez. Isso deve forçar a exibição do resumo.
por 22.11.2014 / 16:21

Tags