Eu tenho uma lista de 9k endereços da web e algumas palavras-chave.
Gostaria de saber se uma página da Web contém essa palavra. Idealmente, a pesquisa automatizada do google com alguns operadores de pesquisa funcionaria muito bem, por exemplo, se você pesquisasse
"keyword" site:"https://www.example.com"
o resultado seria satisfatório (já que ele retornará "não encontrado" ou um monte de url onde a palavra-chave foi encontrada), mas como tenho páginas da web exclusivas, é contra seus termos e condições automatizar a pesquisa em todas as páginas da web de 9k.
Qual seria uma maneira convencional de fazer isso?
Eu não estou pedindo uma maneira de enganar o google, apenas para quaisquer outras possibilidades que não são relacionadas ao Google em tudo que eu poderia pesquisar.