Como eu poderia rastrear todos os arquivos no servidor de arquivos de forma recursiva?

Question

Existem milhares de arquivos em um link

do servidor de arquivos

Eu tentei rastreá-lo com a ferramenta httrack

Ele não funciona, existe alguma ferramenta alternativa que pode baixar os arquivos inteiros de forma recursiva com base em um URL da web?

Obrigado

    

Answer 1

Use o wget:

wget --mirror -p --html-extension --convert-links www.example.com

as opções explicadas:

-p                  get all images, etc. needed to display HTML page.  
--mirror            turns on recursion and time-stamping, sets infinite 
                      recursion depth and keeps FTP directory listings
--html-extension    save HTML docs with .html extensions  
--convert-links     make links in downloaded HTML point to local files.