Perguntas sobre wget. Página # 31

2

respostas

maneira rápida de baixar muitas pequenas páginas da web?

Eu preciso baixar muitas páginas pequenas o mais rápido possível. O tamanho médio de uma página é de 3kb. Existem milhões de páginas. Primeiro, tentei curl , mas foi muito lento, provavelmente porque estava aguardando o servidor responder a um...

06.07.2015 / 19:41

1

resposta

Existe uma maneira simples de instalar uma lista de pacotes no Cygwin? [duplicado]

Existe uma maneira simples de instalar uma lista de pacotes no Cygwin ? Eu tentei os argumentos da linha de comando sem sucesso. Por exemplo, tentei o seguinte sem sucesso na desinstalação de wget . ./setup-x86_64.exe -q -x wget...

02.09.2015 / 07:47

2

respostas

Não é possível gravar em '-' (Canal quebrado) ao tentar instalar uma chave de assinatura de repositório

Estou tentando instalar o INetSim na área de trabalho do Ubunutu 14.04. Eu editei a lista de fontes com os pacotes Debian pré compilados. Então, ao tentar instalar a chave de assinatura usando wget , eu corro nesta questão aqui quando eu exe...

08.09.2015 / 22:05

1

resposta

Como forçar o wget a gerar um resumo?

Eu tenho um script bash que lança uma série de comandos wget e registra a saída. Eu uso as seguintes opções: wget --no-verbose --page-requisites --adjust-extension --convert-links --backup-converted --timestamping --wait=1 --random-wait --app...

30.10.2014 / 09:31

1

resposta

Faça o curl e o wget abrir arquivos gzipados automaticamente?

Eu fiz duas chamadas http para o mesmo recurso gzipped de duas máquinas diferentes - RHEL e OSX. curl http://example.com/file.gz A primeira chamada retornou uma saída binária esperada: /�IQ��} A segunda chamada retornou o conteúdo...

13.06.2013 / 13:13

1

resposta

Espelhe o site com wget, mas apenas o padrão de URL correspondente

Eu quero espelhar um site. É construído assim. abc.com/A/B/1 /... abc.com/A/D/2 /... abc.com/A/R/3 /... abc.com/A/G/4 /... abc.com/A/F/5 /... abc.com/A/B/6 /... E eu só quero obter todos os links deste link: abc.com/A/G/4 /... E...

26.05.2013 / 23:30

2

respostas

Como posso extrair dados específicos de um site?

Estou tentando coletar dados de um site para pesquisa. Os URLs são bem organizados em um formato example.com/x, com x como um número crescente e todas as páginas são estruturadas da mesma maneira. Eu só preciso pegar certos títulos e alguns n...

12.09.2012 / 15:47

1

resposta

Faça o download de um arquivo de um site na linha de comando no Linux

Eu preciso baixar um arquivo de um site que tenha um URL formatado como: http://www.server.com/downloads/1234/ Isso redireciona para um arquivo .zip que deve ser salvo. Também é necessário autenticar com base no nome de usuário e senha....

09.08.2011 / 05:16

1

resposta

wget recursivamente com a opção -np ainda ascende ao diretório pai

tl; dr: o download de 'wget --no-parrent -r' será feito a partir de um diretório acima do diretório do URL? ao usar o wget para fazer o download, digamos, imagens, recursivamente a partir de example.com/a/b com as opções -r e -np, uma imagem...

04.03.2011 / 01:40

1

resposta

wget --convert-links anexando 'index.html'

Estou tentando espelhar um site usando o wget. A maioria dos links no site aponta para a subpasta como http://foo.com/x/ . No entanto, quando eu uso --convert-links , o URL é reescrito para http://foo.com/x/index.html . Alguém pod...

26.04.2011 / 09:05

Perguntas sobre 'wget'