A menos que o autor do site tenha algum recurso de pesquisa interna, acho que você está sem sorte fazendo isso de maneira fácil e automática.
Eu quero pesquisar uma palavra-chave em um site completo que seja atualizado recentemente e não indexado por nenhum mecanismo de pesquisa, ou seja, todas as páginas que existam em uma determinada URL.
A menos que o autor do site tenha algum recurso de pesquisa interna, acho que você está sem sorte fazendo isso de maneira fácil e automática.