wget é uma boa ferramenta e pode recursivamente pegar arquivos de um servidor web.
wget -r 'http://url/'
Eu tenho vários arquivos de texto que estou querendo pegar de um servidor da web na escola e salvá-los no meu local usando uma interface de linha de comando. Este não é um problema de lição de casa, apenas eu tentando fazer algo entediante de uma maneira eficiente. Então eu tenho duas coisas que estou tentando fazer:
Percorre recursivamente um diretório em um servidor da Web procurando algum arquivo de texto. Eu não tenho certeza se eu seria capaz de fazer isso direto da linha de comando sem escrever algum pequeno aplicativo personalizado, mas qualquer idéia seria apreciada.
Copie o arquivo de texto e salve no meu disco local. Eu encontrei este link , mas Eu não consegui descobrir como criá-lo para um arquivo ou salvá-lo localmente.
Para buscar arquivos a partir da linha de comando no linux, existem duas ferramentas básicas.
É importante o que torna um arquivo interessante para você.
Se for algo relacionado ao caminho ou nome , as coisas ficarão mais fáceis e você poderá contornar apenas o 'rastreamento' do site.
Mas, se você precisar obter um arquivo porque ele <<> contém algo de interesse para o qual você pesquisará seu conteúdo (e você não indexará isso - como, digamos, a pesquisa do Google), então você precisará obter cada arquivo e verificar se corresponde aos seus interesses para manter ou excluir (a cópia local).
Uma maneira simples de baixar a página da web de forma recursiva.
wget -r -p -k -c -np URL
diga se você quiser omitir arquivos zip, tar.gz e rar
wget -r -p -k -c -np -R zip,gz,rar URL
ou você pode usar o httrack , que tem GUI (nativo e web) para configuração (como regras de filtragem).
Tags command-line linux