wget arquivos duplicados

Question

Estou executando o comando:

wget -b --no-clobber -nc -w 0 -Q 0 -r -E -e robots=off -U mozilla -t 0 --no-dns-cache -4 -R gif,jpeg,tif,jpg,pdf,bmp,png,css,js http://www.mywebsitearchive.com

Problema: Se eu executar novamente o comando (quando necessário se o wget parar abruptamente) recebo duplicatas para [alguns] arquivos, como example.html e example.1.html. Curiosamente, um .2.html .3.html nunca é criado. Alguma ideia de como evitar isso?

    

Answer 1

Tente com a opção -c :

   -c
   --continue
       Continue getting a partially-downloaded file.  This is useful when
       you want to finish up a download started by a previous instance of
       Wget, or by another program.  For instance:

               wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z

       If there is a file named ls-lR.Z in the current directory, Wget
       will assume that it is the first portion of the remote file, and
       will ask the server to continue the retrieval from an offset equal
       to the length of the local file.

Então, algo como (eu removi --no-clobber , é o que -nc significa):

wget -b -c -nc -w 0 -Q 0 -r -E -e robots=off -U mozilla -t 0 --no-dns-cache -4 -R gif,jpeg,tif,jpg,pdf,bmp,png,css,js http://www.mywebsitearchive.com