Perguntas sobre 'web-crawler'

Tags
5
respostas

Converta páginas da web em um arquivo para ebook

Eu quero fazer o download de HTMLs (exemplo: link ) e juntá-lo a um HTML ou outro formato que eu pode usar no leitor de ebook. Sites com livros gratuitos não têm paginação padrão, não são blogs ou fóruns, portanto, não sabem como fazer um rastr...
02.03.2011 / 09:30
2
respostas

Por que @ no endereço de e-mail às vezes é escrito como [em] em páginas da Web?

Por que @ às vezes em páginas da Web escritas como [at]? Tem algum motivo específico?     
14.11.2013 / 17:38
4
respostas

Como “legal” é o site-scraping usando cURL? [fechadas]

Recentemente eu estava experimentando com a cURL, e achei muito possível com isso. Eu construí um pequeno script que rastreia um site musical, que toca músicas online. No caminho do meu experimento, descobri que também é possível rastrear a font...
23.08.2010 / 06:06
4
respostas

Usando o Wget para rastrear recursivamente um site e baixar imagens

Como você instrui o wget a rastrear recursivamente um site e fazer download apenas de certos tipos de imagens? Eu tentei usar isso para rastrear um site e baixar apenas imagens JPEG: wget --no-parent --wait=10 --limit-rate=100K --recursive...
29.03.2011 / 17:23
1
resposta

wget: recursivamente recupera urls de um website específico

Estou tentando recursivamente recuperar todos os URLs possíveis (URLs de páginas internas) de um site. Você pode me ajudar com o wget? ou existe alguma alternativa melhor para conseguir isso? Eu não quero baixar o conteúdo de qualquer site, m...
29.08.2011 / 12:40
2
respostas

Ferramenta para converter recursivamente um arquivo HMTL para PDF?

Existe alguma ferramenta que não apenas converte um arquivo HTML em PDF, mas também segue links, de modo que no final eu recebo 1 (!) arquivo PDF que contém todos os arquivos html?     
15.02.2010 / 21:13
1
resposta

Extrair dados de um atlas on-line

Existe um atlas on-line do qual gostaria de extrair valores. O atlas fornece uma ferramenta ("Consulta") para extrair valores quando você clica em um local ou inclui uma região no mapa ou pode especificar a latitude / longitude de um ponto em...
08.08.2012 / 14:52
1
resposta

Localizando páginas em uma página da Web que contém um determinado link

O Google faz bons trabalhos para encontrar informações relevantes. Digamos que eu pesquise no Google: Opinião da FDA sobre a ISO-9001 Em seguida, ele encontra um link para um PDF em fda.gov link Mas como encontro a página no fda.go...
02.02.2016 / 11:29
2
respostas

Como posso extrair dados específicos de um site?

Estou tentando coletar dados de um site para pesquisa. Os URLs são bem organizados em um formato example.com/x, com x como um número crescente e todas as páginas são estruturadas da mesma maneira. Eu só preciso pegar certos títulos e alguns n...
12.09.2012 / 17:47
3
respostas

É possível descobrir todos os arquivos e subdiretórios de um URL?

Gostaria de saber se existe um software que eu possa usar para descobrir todos os arquivos e subdiretórios com um URL? Por exemplo, considerando www.some-website.com/some-directory/ , gostaria de encontrar todos os arquivos no diretório /s...
10.12.2011 / 15:34