Faça o download de todos os arquivos .gz de um site com http

Question

Eu tentei o seguinte:

 wget -nd -r -l1 -A gz http://www.example.com/products

Isso salvou apenas um arquivo .txt onde diz:

User-agent: *
Disallow: /

Por outro lado

 wget -r http://www.example.com/products/*.gz

simplesmente não funciona.

Quais são alguns outros comandos que devo tentar?

    

Answer 1

Seu primeiro comando não parece ruim, mas como outros já queriam dizer: o dono do site colocou um robots.txt que quer que qualquer mecanismo de busca - ou programas similares, que inclui o wget - permanecessem fora de seu site para evitar tráfego desnecessário ou por qualquer outro motivo). wget respeita isso por padrão, veja a seção 9.1 do manual do wget (por exemplo, info wget ) (no Capítulo 9: Apêndices) para encontrar os recursos relacionados ao robô ajustável para sua opção de linha de comando .wgetrc (também configurável via -e … ). / p>