Perguntas sobre wget. Página # 109

2

respostas

espelhar um site com wget que somente resposta com gzip

Estou tentando espelhar um site, mas o servidor responde apenas com páginas gzip, portanto, o wget não será recursivo. Eu procurei por aí e há algumas referências a um patch para adicionar suporte ao gzip para wget, mas eles parecem estar desatu...

13.12.2012 / 07:06

1

resposta

Se wget segue a largura primeiro ou profundidade primeiro

Ao executar o wget, eu esperaria que ele "seguisse os links", como em profundidade: quando encontra um link, essa é a próxima coisa que ele busca. Mas parece que primeiro, de alguma forma, processa a primeira página, obtém todos os links e perco...

02.11.2018 / 03:03

2

respostas

Seleciona uma parte do texto da saída 'wget' e registra em um arquivo?

Eu tenho este pequeno script para testar um site FTP: #!/bin/bash wget -O /dev/null ftp://someftpsite:[email protected]/testdump300 2>&1 | \ grep '\([0-9.]\+ [M]B/s\)' >> wget300.log E mostra a saída assim: 2018-07...

27.07.2018 / 00:35

1

resposta

wget e cURL um endereço IPv6 explícito

Você pode usar o sinal -6 em cURL ou wget para usar o endereço IPv6 de um domínio, como google.com . Não consegui buscar páginas explicitamente passando um endereço IPv6. Eu tentei: wget -6 http://[fe80::a00:27ff:fe00:80b9]:8080/...

06.04.2017 / 23:45

2

respostas

Renomear o diretório pai baixado do wget

Eu uso este comando para baixar todo o conteúdo da página principal na Wikipédia: wget -p -k https://en.wikipedia.org/wiki/Main_Page Mas recebo um erro ao tentar combiná-lo com -O para renomear o diretório pai baixado: wget -p -k link...

03.09.2016 / 15:05

1

resposta

Tornar o wget link-rewrite ciente de todos os arquivos baixados

Depois de baixar um tutorial via wget -r -l 1 -k -nd -p http://scikit-learn.org/stable/tutorial/index.html wget reescreve ( -k ) o link de todos os documentos na página index.html para apontar para links locais baixados via -r -l 1...

19.10.2015 / 17:08

1

resposta

Como baixar muitos documentos no terminal de um servidor?

Eu tenho que escrever um script bash (.sh) com menos de 300 caracteres que baixa todos os genomas 22 neste servidor ftp://ftp.ncbi.nih.gov/genomes/Homo_sapiens/ (aqueles com extensão fa.gz) e os extrai. Meu primeiro foi apenas para escrever %c...

23.04.2015 / 03:04

1

resposta

CURL não conectará a si mesmo

Estou tendo um problema estranho em que o CURL não pode se conectar ao seu próprio servidor. Por exemplo, se eu estiver no servidor example.com wget https://example.com/ <--- WORKS FIND curl https://example.com gets error: 35 SSL conne...

04.03.2015 / 08:08

2

respostas

baixa vários arquivos do sourceforge

Existe alguma maneira de fazer o download / espelhar uma estrutura de pastas com muitos arquivos do sourceforge usando a ferramenta wget / curl / similar? Eu vi alguns exemplos usando rsync ou scp, mas acho que funciona apenas para propriet...

09.01.2014 / 17:56

2

respostas

wget pegar arquivos vazios que realmente existem

Eu tenho um script que serve para baixar um determinado número de arquivos de um servidor remoto. Só precisa fazer isso a cada 24 horas, pois são fontes JSON para um banco de dados no meu servidor. Os arquivos são atualizados no servidor remoto...

21.09.2013 / 18:26

Perguntas sobre 'wget'