Você está procurando uma técnica chamada web scraping . Você pode usar isso para coletar dados de sites que não oferecem APIs para obter os dados. Há muitas ferramentas para isso e também há muitas bibliotecas para diferentes idiomas (por exemplo, há BeautifulSoup para python). Cuidado, você pode se deparar com problemas legais quando estiver raspando / martelando um site constantemente sem permissão.