Existe um servidor web com muitos arquivos do tipo dxf que só podem ser baixados um de cada vez. Eu pensei que deveria ser uma boa idéia usar o wget para baixar todos esses arquivos ao mesmo tempo. Infelizmente, não consigo fazer isso com sucesso.
Meu código é:
wget -r -A.dxf www.site.com/example/download
Este código apresenta o seguinte erro:
HTTP request sent, awaiting response... 403 Forbidden
Remote file does not exist -- broken link!!!
Caso eu especifique o URL com o nome exato do arquivo
wget -O www.site.com/example/download/filename.dxf
o arquivo é baixado com sucesso.
Como deve ser o código para o download do tipo de arquivo dxf recursivo com êxito?
O 403 forbidden provavelmente acontece porque o servidor web proíbe listagens de diretório do diretório (portanto, ele não gerará uma lista de arquivos para você).
Se você conhece a lista de arquivos que deseja baixar, pode criar um arquivo de texto simples e, em seguida, informar wget para fazer o download da lista.
Exemplo:
$ cat list.txt
file1.dxf
file2.dxf
fileA.dxf
$ wget --base http://www.site.com/example/download --input-file list.txt
Faz o download dos URLs:
* Dado que você conhece os nomes dos arquivos, eles estão em sequência e o servidor da Web permite que você faça o download em uma única sessão *, você tem a chance de trabalhar com a expansão do shell.
Suponha, no seu exemplo, que os nomes dos arquivos sejam file1.dxf, file2.dxf ... file5.dxf.
você pode baixar os arquivos da seguinte forma:
wget -r -np -nd http://www.site.com/example/download/file{1..5}.dxf
Os arquivos baixados serão:
Da mesma forma, se seus arquivos forem filea.dxf, fileb.dxf .... filef.dxf
wget -r -np -nd http://www.site.com/example/download/file{a..f}.dxf
Os arquivos baixados serão:
-r: recursivo, -np: no-parent, -nd: sem-diretórios, o que significa que os arquivos são baixados, mas a hierarquia de diretórios não é.