Combine os utilitários curl e processamento de texto como grep , sed awk , etc.
Por exemplo:
curl https://askubuntu.com/questions/941409 &| grep -Po '(?<=<title>).*(?=</title>)'
retorna o título da página da sua pergunta.
Eu gostaria de saber como fazer o web scraping usando o terminal do Ubuntu. Eu li algo sobre o uso de python com beatifulsoup, urllib, mas eu queria saber se existe alguma maneira de fazê-lo sem executar um script python?
Digamos que eu esteja pesquisando o site www.marmara.edu.tr (meu site universitário) e gostaria de obter alguns dados, como posso fazer isso por linha de comando?
Combine os utilitários curl e processamento de texto como grep , sed awk , etc.
Por exemplo:
curl https://askubuntu.com/questions/941409 &| grep -Po '(?<=<title>).*(?=</title>)'
retorna o título da página da sua pergunta.