Perguntas sobre 'wget'

Tags
O GNU Wget (ou apenas wget) é um programa baseado em linha de comando para baixar conteúdo da Internet usando HTTP, HTTPS e FTP.
0
respostas

Como wget arquivos de diretório ignorando o redirecionamento do índice 301

Eu quero pegar os arquivos em Domain.com/blah/"[hashed-random-digits].pdf" . Tentei wget -m -e robots=off -np --user-agent=Mozilla/5.0 --max-redirect 0 domain.com/blah/ Mas isso me redireciona para o root domain.com . Também robôs...
19.03.2018 / 16:02
0
respostas

Arquivo do wget no script não disponível para o próximo comando

Estou escrevendo um arquivo e, para preservar seu nome de arquivo original, faço um find para sua extensão conhecida. Tudo está funcionando bem no terminal, mas em um script o arquivo nunca está disponível / lá para o comando find. Acho...
06.03.2018 / 14:12
1
resposta

Limita o número de downloads de arquivos com wget?

Estou tentando baixar todos os arquivos pdf de um site usando wget . Eu só exijo que arquivos n sejam baixados. Como eu posso dizer wget para parar depois de baixar arquivos n ?     
07.03.2018 / 17:27
0
respostas

limitação de taxa de transferência de sessão TCP única quando o RWIN pequeno não parece ser a causa

Eu tenho um servidor com 10GigE NIC conectado à rede ISP. A largura de banda fornecida pelo ISP para esse servidor também é de 10 Gbps. Quando eu wget um arquivo de 100GB do servidor remoto (sessão TCP única), então eu posso ver a taxa de tra...
05.03.2018 / 18:23
0
respostas

Obtendo o erro ao executar o comando wget para baixar o arquivo zip da URL

Estou tentando baixar o arquivo de uma lista suspensa de url usando o wget na caixa do Linux. Como não tenho acesso aos arquivos do sistema, copiei o arquivo .wgetrc em meu diretório pessoal e incluí as configurações de proxy abaixo neles. O URL...
23.02.2018 / 14:38
0
respostas

Como descubro por que não consigo me conectar usando “wget” em um site externo?

Estou usando o CentOS 7. Estou tentando descobrir por que não consigo me conectar via wget a um site externo, embora a maioria dos outros sites funcionem e eu possa me conectar a esse outro site de outros computadores. O site é "gitlab.com" e qu...
24.02.2018 / 20:46
0
respostas

Conta recursivamente o número médio de arquivos em uma série de diretórios usando o WGET

Dada uma lista publicamente disponível de diretórios , como eu atravessaria cada diretório, contaria o número de arquivos em cada e, em seguida, calcular uma média em todos os diretórios listados? Como está, eu tenho esse pipe de wget e grep...
19.02.2018 / 11:39
1
resposta

Como manipular o último cabeçalho modificado ausente - os registros de data e hora foram desativados

Eu estava espelhando um site, mas algo aconteceu e o wget morreu. Então eu tive que executá-lo novamente, mas percebi que Last-modified header missing -- time-stamps turned off. foi repetido tantas vezes na saída, então eu suspeito que o wget...
09.02.2018 / 15:53
0
respostas

Gnutls não consegue encontrar Libnettle 3.1

Estou criando o sistema CLFS simplesmente criando um sistema operacional e nele, eu tenho que instalar o pacote wget . Mas para isso a dependência é GNUTLS e para instalar o GNUTLS, o LibNettle é necessário. Então, eu instalei o pacote Lib...
12.01.2018 / 09:58
1
resposta

Wget for url / .asp?

Estou tentando baixar todos os arquivos em pdf nesta página com 759 links href que levam ao próximo nível de vários links em PDF. Após algumas discussões deste fórum, tentei o seguinte wget -r -l 3 --accept=pdf --adjust-extension http://www.j...
18.01.2018 / 22:03