Você está procurando uma técnica chamada web scraping
. Você pode usar isso para coletar dados de sites que não oferecem APIs para obter os dados. Há muitas ferramentas para isso e também há muitas bibliotecas para diferentes idiomas (por exemplo, há BeautifulSoup
para python). Cuidado, você pode se deparar com problemas legais quando estiver raspando / martelando um site constantemente sem permissão.