Obtendo um URL dos resultados da pesquisa com base em uma consulta e atualizando em uma página da Web

0

Tentando encontrar uma maneira de fazer esse processo diariamente ou até mesmo por hora:

  1. Ir para a Amazon e pesquisar "item"
  2. Encontre um produto específico nos resultados da pesquisa (sempre terá o mesmo título)
  3. Capture o link do produto específico (ele muda periodicamente)
  4. Armazene este link em algum lugar e atualize uma página de destino para os links (pode ser HTML, uma página do Google, qualquer coisa)

Alguma idéia sobre por onde começar?

    
por Big Millz 26.02.2015 / 17:59

1 resposta

0

Eu sugiro olhar para uma biblioteca chamada Selenium. Ele também existe como uma extensão para o Firefox, mas eu também instalaria o lib para tocar com o código que a extensão gera. Pessoalmente, eu usei o Python.

A extensão funciona como um gravador para todas as ações que você realiza no seu navegador da web. Quando você terminar de gravar, ele tentará gerar o código no idioma de sua escolha. Na minha experiência, você terá que ajustar um pouco esse código para que ele funcione corretamente, mas a placa da caldeira e o tipo de relatório de erros ficarão bem.

Usando o Selenium, você pode escrever um script que:

  1. Abre o navegador na amazon.com
  2. Clica na caixa de pesquisa
  3. Procura pelo título do item
  4. Navega até a página do item
  5. Captura o URL da página do item
  6. Exporta URL para .txt ou o que você quiser fazer com ele

Depois de obter o código funcionando, você pode configurar uma tarefa no crontab no Linux ou no Windows Scheduler no Windows para executar o script com a frequência que desejar.

Aqui está a página de documentação do Selenium para mais informações link

    
por 26.02.2015 / 19:24