Perguntas sobre 'wget'

Tags
O GNU Wget (ou apenas wget) é um programa baseado em linha de comando para baixar conteúdo da Internet usando HTTP, HTTPS e FTP.
1
resposta

Não é possível “wget” da minha casa Debian servidor Lenny! Mas as portas estão abertas!

Eu tenho um problema muito estranho para mim. Neste exemplo, o dns e o IP são ocultados por motivos de segurança. Quando eu tento do putty manager para conectar ao meu Debian e escrever o próximo comando: debian:~# wget http://myhost.no-i...
03.04.2011 / 02:57
0
respostas

web spidering / crawling, posso fazê-lo ou apenas mecanismos de pesquisa?

Eu já tinha uma pergunta respondida sobre o web-scraping com o wget. mas à medida que leio um pouco mais, percebo que talvez esteja procurando por um programa de rastreamento da web. particularmente a parte sobre rastreadores da web sendo capaze...
07.03.2011 / 08:35
2
respostas

O armazenamento de 300k arquivos em uma pasta pode causar problemas?

Estou rastreando um site grande (mais de 200 mil páginas) usando o wget (existe uma ferramenta melhor?). O Wget está salvando todos os arquivos em um diretório. A partição é HFS (eu acho), isso causará problemas se eu tiver todos os arquivos...
12.04.2011 / 15:08
1
resposta

Rastreando um diretório grande com wget com dois links apontando para a mesma coisa

Estou tentando rastrear um diretório em um site e basicamente baixar tudo nele. A estrutura é simples o suficiente (mas também há várias pastas), mas há uma coisa que faz com que o wget seja bloqueado. A fonte é algo como isto: <a href="in...
19.03.2011 / 04:39
3
respostas

Como baixar um arquivo de URL no Linux

Normalmente, um faz o download de um arquivo com um URL que termina na extensão do arquivo. Para baixar o Ubuntu ISO, seria simples wget http://releases.ubuntu.com/14.04.3/ubuntu-14.04.3-desktop-amd64.iso No entanto, deparei com um sit...
29.01.2016 / 20:06
2
respostas

O wget tem um histórico de download?

Eu usei o wget para baixar vários pacotes compactados (em uma tentativa fracassada de emular manualmente o apt-get, se isso tiver algum significado), e não me lembro das localizações dos pacotes. É possível ver o histórico de download do wget (...
21.12.2013 / 19:31
3
respostas

Limitando arquivos com wget

Estou tentando baixar arquivos da lista de discussão, como link Em particular, tenho uma página e gostaria de fazer o download de todos os arquivos vinculados a essa página que terminem com ".txt.gz". Existe uma maneira de restringir o w...
29.06.2012 / 19:59
2
respostas

Como posso baixar este diretório?

É possível fazer o download deste diretório inteiro com o wget? Como eu posso fazer isso? Este é o diretório com os arquivos que eu quero baixar: http://java.net/projects/glassfish/sources/svn/show/trunk/fighterfish/sample     
02.02.2012 / 18:10
2
respostas

Usando o Wget / shell para baixar um arquivo fora da raiz da web

Estou tentando baixar o arquivo httpd.conf para poder editar minha configuração do Apache. Eu consigo acessar o diretório no shell (tenho acesso root), mas todos os exemplos sobre como usar Wget para fazer download de um arquivo do servidor...
08.12.2013 / 22:27
5
respostas

Rastreador / spider do site para obter o mapa do site [fechado]

Eu preciso recuperar um mapa do site inteiro, em um formato como: link link link link link Eu preciso que ele seja baseado em links (sem arquivo ou dir brute-force), como: parse homepage -> retrieve all links -&g...
03.09.2012 / 16:23