Baixe a estrutura de diretórios de um site sem seus arquivos?

Question

Eu pesquisei por isso, mas não consegui encontrar um exemplo de como usar, por exemplo. wget para baixar a estrutura de diretórios de um site sem baixar nenhum de seus arquivos.

Neste ponto, só preciso entender como um site é organizado. Vou espelhar o site mais tarde.

    

Answer 1

No prompt de comando, digite:

wget -r --spider www.your-website.com

Comando alternativo com uma opção para especificar a profundidade máxima do nível de profundidade.

wget -r --spider -l depth www.your-website.com

Opções de recuperação recursiva:

-r  
--recursive
    Turn on recursive retrieving.    The default maximum depth is 5.

--spider
    Don't download anything

-l depth
--level=depth
    Specify recursion maximum depth level depth.