Extração de tecnologias usando URL do site

Question

Eu gostaria de saber se é possível recuperar as tecnologias usadas para construir um site simplesmente tendo sua URL usando o Ubuntu.
Digamos, por exemplo: se eu tiver o URL: link

Eu quero conhecer as tecnologias usadas para construir este site.
A saída seria:

PHP, HHVM, Vanish, AddThis and many others.

Existe alguma maneira de fazer isso mais rápido?
Por favor, lembre-se também que eu tenho um arquivo de lista de sites e quero extrair as tecnologias web desses sites e colocá-los em um arquivo logo após o URL (Linha por Linha). Por favor, deixe-me saber se isso é possível usando o comando do Ubuntu ou qualquer software no Ubuntu.

    

Answer 1

Você pode pesquisar as distribuições Kali ou Parrot para obter ferramentas de coleta de informações.

• nikto é um deles que eu já experimentei antes e fornece informações parciais. Está disponível também o repositório do Ubuntu.

  ~$ whatis nikto
  nikto (1)            - Scan web server for known vulnerabilities
  
  ~$ sudo apt-get install nikto
  ~$ sudo nikto -update
  ~$ nikto -Tuning b -h www.wikipedia.org
  - Nikto v2.1.5
  ---------------------------------------------------------------------------
  + Target IP:          91.198.174.192
  + Target Hostname:    www.wikipedia.org
  + Target Port:        80
  + Start Time:         2016-11-14 09:22:30 (GMT1)
  ---------------------------------------------------------------------------
  + Server: Varnish
  + IP address found in the 'x-client-ip' header. The IP is "105.107.105.185".
  + The anti-clickjacking X-Frame-Options header is not present.
  + Uncommon header 'x-client-ip' found, with contents: 105.107.105.185
  + Uncommon header 'x-cache' found, with contents: cp3041 int
  + Uncommon header 'x-varnish' found, with contents: 827655138
  + Uncommon header 'x-cache-status' found, with contents: int
  + Root page / redirects to: https://www.wikipedia.org/
  + No CGI Directories found (use '-C all' to force check all possible dirs)
  + Server banner has changed from 'Varnish' to 'mw1187.eqiad.wmnet' which may suggest a WAF, load balancer or proxy is in place
  + Cookie GeoIP created without the httponly flag
  + Retrieved via header: 1.1 varnish-v4, 1.1 varnish-v4, 1.1 varnish-v4
  + Retrieved x-powered-by header: HHVM/3.3.0-static
  + Server leaks inodes via ETags, header found with file /, fields: 0xW/3b2 0x5369720eefb07 
  + Uncommon header 'x-analytics' found, with contents: nocookies=1
  + Uncommon header 'backend-timing' found, with contents: D=236 t=1478774110870502
  + 269 items checked: 0 error(s) and 12 item(s) reported on remote host
  + End Time:           2016-11-14 09:23:21 (GMT1) (51 seconds)
  ---------------------------------------------------------------------------
  + 1 host(s) tested
  

• whatweb é outra ferramenta. Tem erro não fixo (erro de escape multibyte inválido) no Ubuntu.

  1. Abra o arquivo da biblioteca de detecção automática de codificação para edição

     sudo nano /usr/lib/ruby/vendor_ruby/rchardet/universaldetector.rb
     

  2. Adicione # encoding: US-ASCII

  
  

  Mesmo com essa solução acima, a saída não é limpa como em Kali.

  ~$ whatis whatweb
  whatweb (1)          - Web scanner to identify what websites are running.
  
  ~$ whatweb www.wikipedia.org
  /usr/share/whatweb/lib/tld.rb:85: warning: key "2nd_level_registration" is duplicated and overwritten on line 85
  /usr/share/whatweb/lib/tld.rb:93: warning: key "2nd_level_registration" is duplicated and overwritten on line 93
  /usr/share/whatweb/lib/tld.rb:95: warning: key "2nd_level_registration" is duplicated and overwritten on line 95
  /usr/share/whatweb/plugins/wordpress.rb:436: warning: key "2.7-beta1" is duplicated and overwritten on line 453
  /usr/share/whatweb/lib/extend-http.rb:102:in 'connect': Object#timeout is deprecated, use Timeout.timeout instead.
  http://www.wikipedia.org [301] Cookies[WMF-Last-Access], Country[NETHERLANDS][NL], HTTPServer[Varnish], HttpOnly[WMF-Last-Access], IP[91.198.174.192], RedirectLocation[https://www.wikipedia.org/], UncommonHeaders[x-varnish,x-cache-status,x-client-ip], Varnish
  /usr/share/whatweb/lib/extend-http.rb:102:in 'connect': Object#timeout is deprecated, use Timeout.timeout instead.
  /usr/share/whatweb/lib/extend-http.rb:140:in 'connect': Object#timeout is deprecated, use Timeout.timeout instead.
  https://www.wikipedia.org/ [200] Cookies[GeoIP,WMF-Last-Access], Country[NETHERLANDS][NL], Email[[email protected],[email protected],[email protected],[email protected],[email protected],[email protected],[email protected],[email protected]], HTML5, HTTPServer[mw1253.eqiad.wmnet], HttpOnly[WMF-Last-Access], IP[91.198.174.192], probably MediaWiki, Script, Title[Wikipedia], UncommonHeaders[backend-timing,x-varnish,x-cache-status,strict-transport-security,x-analytics,x-client-ip], Varnish, Via-Proxy[1.1 varnish-v4, 1.1 varnish-v4, 1.1 varnish-v4], X-Powered-By[HHVM/3.3.0-static]
  

  Saída de Kali:

  ~# whatweb https://www.wikipedia.org
  https://www.wikipedia.org [200 OK] Cookies[GeoIP,WMF-Last-Access], Country[NETHERLANDS][NL], Email[[email protected],[email protected],[email protected],[email protected],[email protected],[email protected],[email protected],[email protected]], HTML5, HTTPServer[mw1253.eqiad.wmnet], HttpOnly[WMF-Last-Access], IP[91.198.174.192], probably MediaWiki, Script, Strict-Transport-Security[max-age=31536000; includeSubDomains; preload], Title[Wikipedia], UncommonHeaders[backend-timing,x-varnish,x-cache-status,x-analytics,x-client-ip], Varnish, Via-Proxy[1.1 varnish-v4, 1.1 varnish-v4, 1.1 varnish-v4], X-Powered-By[HHVM/3.3.0-static]
  

Answer 2

Eu sugeriria que isso não é realmente possível apenas com o Ubuntu.

Você pode extrair dados com um navegador de terminal como o Lynx ou um comando como curl, mas a análise demorará muito.

Este é o tipo de coisa que você precisaria de um roteiro extenso para realizar. Este seria um projeto próprio, eu acho.

Eu fiz algumas pesquisas, e perguntas semelhantes foram feitas antes, mas são muito poucas e distantes entre si.

Você pode usar uma ferramenta on-line como o link para pesquisar os detalhes.

Por exemplo, isso mostra que techcrunch.com

• Utiliza o NGINX como um servidor da Web
• Usa certificados SSL da Godaddy; Wordpress
• Mostra um redirecionamento de SSL
• Wordpress DNS
• Usa Carimbo Postal; Sailthru; O Google Apps for Business e a configuração do SPF
• é hospedado pelo Wordpress.com
• usa o Wordpress VIP como se fosse o CMS
• Usa um interpretador PHP
• Tem uma tonelada de análises; anunciantes e rastreamento
• Usa muitas bibliotecas JS (todas listadas no site), incluindo itens como jQuery e Backbone.js
• usa o AOL On; Tube Mogul e TidalTV para mídia

Há muita informação aí, você terá que ler por si mesmo, mas é uma ótima ferramenta.

Espero que ajude!

Boa sorte:)

Isso também pode ser uma questão duplicada de link

Existem outras ferramentas on-line listadas na pergunta acima também.