Há um host e uma porta (com suporte a TCP) nos quais o serviço http está sendo executado. Simples
wget host:port
não retorna nada. É possível obter uma lista de todos os arquivos acessíveis (html ou txt) nesse host (e a porta fornecida) que podem ser visualizados?
Talvez haja algum padrão como
wget host:port/*.[html|txt] ou algo
Este comando…
$ wget --spider DOWNLOAD-URL
irá verificar se DOWNLOAD-URL está disponível para download.
Você pode verificar este link para mais opções em wget : Guia final do wget . Além disso, verifique o manual para wget você pode mais opções interessantes.
Tente usar a Pesquisa do Google com o operador site: .
Exemplo: desejo descobrir os URLs hospedados em nlp.stanford.edu:8080 . Solução: eu vou para a Pesquisa do Google e insiro o termo de pesquisa site:nlp.stanford.edu:8080 . Então, eu uso o wget para começar o spidering de todos os URLs encontrados nos resultados da pesquisa.