'nenhum arquivo ou diretório' ao espelhar com o wget

Question

Estou tentando salvar uma versão local do clojure docs com o comando wget :

wget --user-agent=firefox --ignore-length -c -km 
"http://clojuredocs.org/quickref/Clojure Core"'

mas continue recebendo um no such file or directory quando ele chegar a alguns links como o link que obviamente existe porque você pode obter lá com um navegador. Eu estou supondo que este é um problema com o caminho wget está construindo / concatenando o caminho. Como você corrige isso? . Já experimentei outras opções, como --user-agent e --ignore-length , mas continuo obtendo os mesmos resultados mostrados abaixo (você terá que abrir a imagem para ver as mensagens corretamente).

Isto parece ser um problema com o espelhamento porque o comando:

wget http://clojuredocs.org/clojure_core/clojure.core/rem

funciona bem.

    

Answer 1

Seu problema se origina do comportamento de wget para salvar a URL http://clojuredocs.org/clojure_core em um arquivo chamado ./clojuredocs.org/clojure_core , mas a URL http://clojuredocs.org/clojure_core/ (observe a barra final) em um arquivo chamado ./clojuredocs.org/clojure_core/index.html .

Quando o arquivo ./clojuredocs.org/clojure_core for criado, os downloads a seguir de, por exemplo, http://clojuredocs.org/clojure_core/something estão fadados ao fracasso, porque wget não pode mais criar um diretório ./clojuredocs.org/clojure_core .

Isso foi relatado como bug # 29647 no GNU Wget Bugtracker .

Com o patch fornecido (que obviamente não foi incluído no código-fonte oficial) esse problema desaparece e wget é forçado a criar o diretório primeiro. Então, o download pode continuar.

No entanto, http://clojuredocs.org/clojure_core é salvo como ./clojuredocs.org/clojure_core.1 , não como ./clojuredocs.org/clojure_core/index.html .

Eu não posso julgar se o link-conversor ( -k ) é inteligente o suficiente para fazer os links nesta cópia local espelhada funcionando ... Eu parei o download depois de alguns minutos. (Sou muito impaciente ;) )