Como posso encontrar subdomínios do splunk.com usando a resposta http?

Question

Enviei uma solicitação http para o "splunk.com" usando esse comando

curl -L splunk.com

Eu tenho códigos HTML. Eu quero encontrar subdomínios desse site, analisando os códigos html.

    

Answer 1

Análise complexa / scaping com ferramentas xmlstarlet , xmllint e sed :

curl -sL "http://splunk.com" | xmlstarlet fo --html --recover 2>/dev/null \
| xmllint --html --xpath "//a[contains(@href, '.splunk.com') and not(contains(@href, '//www.'))]/@href" - 2>/dev/null \
| tr ' ' '\n' | sed -E 's~^href="https?:[/]+~~; s/\.com.*$/.com/' | sort -u

A saída:

answers.splunk.com
conf.splunk.com
dev.splunk.com
docs.splunk.com
investors.splunk.com
live.splunk.com
login.splunk.com
splunkbase.splunk.com
splunklive.splunk.com
usergroups.splunk.com