Por que usar o Wget em vez de um navegador? [fechadas]

Question

Quando devo usar o Wget em vez de um navegador? Ouvi dizer que Stallman usa em vez de um navegador por razões de anonimato. O que o servidor pensa / vê quando obtém seus arquivos usando o Wget?

    

Answer 1

Em que casos eu preferiria usar o Wget ao invés de algum navegador?

De a página man do wget :

GNU Wget is a free utility for non-interactive download of files from the Web. It supports HTTP, HTTPS, and FTP protocols, as well as retrieval through HTTP proxies.

Wget is non-interactive, meaning that it can work in the background, while the user is not logged on. This allows you to start a retrieval and disconnect from the system, letting Wget finish the work. By contrast, most of the Web browsers require constant user's presence, which can be a great hindrance when transferring a lot of data.

O bom do wget é que você pode usá-lo na linha de comando, ou em um script e fazer o download do arquivo em segundo plano.

O que o servidor pensa / vê quando você obtém seus arquivos usando o Wget?

Eles o veem como um navegador solicitando um arquivo como outros navegadores.

Aqui está o cabeçalho do wget (isto é o que os servidores veem):

GET / HTTP/1.1
User-Agent: Wget/1.18 (linux-gnu)
Accept: */*
Accept-Encoding: identity
Host: localhost:80
Connection: Keep-Alive

E aqui está o cabeçalho do firefox:

GET / HTTP/1.1
Host: localhost:80
User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-TW,en-US;q=0.5
Accept-Encoding: gzip, deflate
DNT: 1
Connection: keep-alive
Upgrade-Insecure-Requests: 1

Como você pode ver, eles são semelhantes.

    

Answer 2

Talvez um dos melhores argumentos seja que wget é capaz de tentar novamente se uma conexão não for confiável, e pode até instruir o servidor a 'reget', para continuar baixando do ponto onde o download anterior falhou - o que é muito bem-vindo ao baixar arquivos grandes. Alguns plugins de navegadores também são capazes disso.

Além disso, muito útil, é que wget pode baixar diretórios inteiros (incluindo subdiretórios), evitando assim repetições no download.

Sobre o anonimato - isso é muito relativo. Normalmente, wget identifica como tal, e mais do que alguns sites consideram isso algo ruim - algum bloco wget.

Mas, é possível tornar wget identificada como qualquer outra string, usando a opção de linha de comando --user-agent=agent-string . (Novamente, truques semelhantes são possíveis com alguns plugins de navegador)

Então, basicamente, isso é uma questão de gosto ... Um bom argumento é que wget pode ser usado facilmente em scripts, o que é mais complicado com navegadores.

    

Answer 3

Existem muitos recursos em um navegador gráfico ( Firefox , Chrome , etc ...), eles serão usados para identificar o usuário. Não apenas cabeçalhos HTTP. Eles são chamados de "impressão digital do navegador".

• Plugins instalados
• Resolução da tela atual
• Fontes instaladas
• Recursos compatíveis

e muitos outros ... (referência: "Eu sou único?" , " Panopticlick " , "BrowserLeaks.com" )

O navegador da CLI ( wget , curl , etc ...) não tem muitas dessas "impressões digitais", porque elas são muito simples. Isso aumenta o anonimato, dificulta o rastreamento do usuário.