Perguntas sobre 'wget'

Tags
O GNU Wget (ou apenas wget) é um programa baseado em linha de comando para baixar conteúdo da Internet usando HTTP, HTTPS e FTP.
2
respostas

wget não vê o proxy no cron

Sou novo no freebsd e tenho um problema: meu script usa wget . quando eu chamo da linha de comando, funciona bem e vejo a saída assim: --2011-09-22 15:55:58-- http://svarog.***/monitor/reply.PHP?port_id=312342 Connecting to 83.***.***.2:31...
27.09.2011 / 09:13
1
resposta

Existe uma maneira de usar o wget para baixar um site e TODOS os seus documentos de requisitos, incluindo os remotos

Eu quero fazer algo semelhante ao seguinte: wget -e robots=off --no-clobber --no-parent --page-requisites -r --convert-links --restrict-file-names=windows somedomain.com/s/8/7b_arbor_day_foundation_program.html No entanto, a página que...
10.08.2011 / 17:13
1
resposta

Como você encontra o tamanho de um site? [fechadas]

Suponha que eu queira baixar algum site wiki. Parece que tem apenas 2000 artigos - mas com tecnologia wiki - eles mantêm várias versões de cada artigo ... Então, ainda assim, podem ter terabytes! Então, minha pergunta é: como você pode encont...
06.08.2011 / 06:25
2
respostas

wget (ou enrola) todo o conteúdo de um tópico no fórum?

A URL do tópico do fórum que estou tentando acessar está no formato http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1 Eu tentei wget --user-agent=Mozilla/5.0 -k -m -E -p -np -R http://dom...
04.02.2011 / 01:37
2
respostas

wget termina inesperadamente

Eu preciso percorrer periodicamente um site para atualizar o cache do servidor. É um site baseado em banco de dados com muitas (milhares de) páginas. Eu uso wget para espelhar o site localmente no mesmo servidor, então eu uso este comando: wg...
20.08.2010 / 14:46
2
respostas

wget Falha na conexão HTTP autenticada

Primeiro, eu não sou um cara do Linux, mas tenho que fingir que sou um desenvolvedor da Web. Então, nós temos um servidor Red Hat e eu estou usando o wget no crontab para executar alguns scripts PHP. Fazemos isso há algum tempo e está func...
07.07.2010 / 16:37
2
respostas

Lote páginas de download de um wiki sem páginas especiais

Ocasionalmente, encontro algumas documentações na web que preciso usar offline no meu notebook. Normalmente eu ligo o wget e obtenho todo o site. No entanto, muitos projetos estão migrando para wikis, o que significa que eu também baixo todas...
10.09.2009 / 14:53
0
respostas

wget não encontra um arquivo existente (ftp)

Eu tenho proftpd no meu servidor. Não tenho certeza se a configuração é perfeita, mas algo que não consigo entender: $ LC_ALL=en ls -l useradd.LDAP.tar.gz ls: cannot access 'useradd.LDAP.tar.gz': No such file or directory $ lftp myserver lftp...
26.07.2018 / 06:18
0
respostas

Fazendo com que os wget's --convert-links respeitem http vs https

Estou usando o seguinte comando para espelhar um site https: wget --directory-prefix=/tmp/mirror --mirror --no-host-directories \ --regex-type pcre --reject-regex "$SKIP_REGEXP" \ --convert-links --adjust-extension --header "Accept-...
14.08.2018 / 12:49
0
respostas

Como controlar o tamanho dos dados que recebo ao fazer uma solicitação HTTP POST com wget?

Estou tentando automatizar um login em um site replicando a solicitação HTTP POST com wget. Eu realmente não preciso dos dados de resposta, para não mencionar que esperar por tudo isso aumenta o tempo de execução do cronjob. Eu tentei limitar...
02.07.2018 / 10:11