wget - diretórios corrompidos

Question

Estou usando o wget para criar um espelho HTML de um site modelo php no host local. Eu estou encontrando um problema com alguns diretórios sendo espelhados como documentos sem extensão.

O que pode estar causando esse problema?

Estou usando este comando:

$ wget -mk http://www.example.com/

    

Answer 1

What could be causing this problem?

Você verificou se o site real sempre retorna documentos com uma extensão? Não há protocolo que exija isso e é completamente normal não usá-los; o tipo de documento é determinado pelos cabeçalhos http e não por qualquer sufixo no endereço. Claro, o seu navegador de arquivos faz usar extensões de arquivo para identificar documentos, então isso pode ser um aborrecimento.

Por exemplo, esta página é literalmente http://unix.stackexchange.com/questions/124741/wget-corrupted-directories e, se você buscar com wget , produzirá um arquivo wget-corrupted-directories sem extensão, que contém dados html.

    

Answer 2

Você está com a tag --html-extension em falta.

Sugiro usar esta sintaxe:

wget \
 --recursive \
 --no-clobber \
 --page-requisites \
 --html-extension \
 --convert-links \
 --restrict-file-names=windows \
 --domains website.org \
 --no-parent \
     www.website.org