Eu preciso ter acesso a todos os links, como:
link
etc.para um determinado site: link
(É claro que nenhum link para esses links está disponível no link )
O site não restringe o acesso aos links que eu quero, pois eles publicam anúncios na internet com links para esses links. Eu só preciso acompanhar todos esses links sem ter que percorrer toda a internet em busca de seus anúncios para chegar a esses links.
É possível fazer isso?
Tags internet http web-crawler