Por que eu usaria o Wget em vez de um navegador? [fechadas]

Question

Em que casos devo preferir usar o Wget em vez de um navegador?

Ouvi dizer que o Richard Stallman o utiliza em vez de um navegador por algumas razões de anonimato. E o que o servidor vê quando você obtém seus arquivos usando o Wget?

    

Answer 1

Normalmente você nunca a usaria "em vez de um navegador". Os navegadores renderizam HTML, tornam os links clicáveis (ao contrário de ter que copiar a URL em outro comando wget manualmente), etc. Não há literalmente nenhuma vantagem em usar o wget como humano. Se você está preocupado com a privacidade, há um milhão de maneiras de limpar um navegador (ou você pode usar um navegador com menos recursos, como o Lynx, se quiser realmente obter barebones sem destruir toda a aparência da interface com o usuário).

O Wget é usado principalmente quando você quer uma maneira rápida, barata, de script / linha de comando de baixar arquivos. Assim, por exemplo, você pode colocar wget em um script para baixar uma página da web que é atualizada com novos dados com frequência, algo para o qual um navegador não pode ser usado. Você pode usar várias opções do wget para rastrear e salvar automaticamente um site, o que a maioria dos navegadores não pode fazer, pelo menos não sem extensões.

Em suma, navegadores são aplicativos para humanos que procuram na internet, o wget é uma ferramenta para máquinas e usuários avançados que movem dados via HTTP. Muito parecido com o que eles fazem (extraem arquivos de sites), mas totalmente diferentes em seu uso.

Em relação a quais servidores "ver" quando você obtém coisas com wget: todos os clientes HTTP (navegadores, wget, curl e outros aplicativos similares) transmitem o que é chamado de "User Agent", que é apenas uma string que descreve o navegador atualmente, descreve quais recursos do navegador ele possui). Isso pode ser usado para exibir conteúdo diferente, dependendo do navegador do usuário (por exemplo, o Google tenta não anunciar o Chrome para pessoas que já usam o Chrome). Alguns tolos tentam bloquear as travessuras do usuário avançado bloqueando a sequência do agente do usuário do wget, mas você pode simplesmente falsificar uma string do agente do usuário do Google Chrome para contornar isso. Mais frequentemente, ele é simplesmente usado para estatísticas, para que você saiba como os diferentes navegadores são populares, para que você saiba quais testar mais detalhadamente.

Se você usar as funções de rastreamento do wget, o servidor verá muitas solicitações rápidas em uma ordem alfabética. É uma oferta inoperante que você está raspando seu site. Parece totalmente diferente da navegação de um usuário. Com um usuário humano fazendo solicitações em um navegador, todas as solicitações de página são seguidas por todas as imagens dessa página e, em seguida, há algum atraso e, em seguida, há uma solicitação para outra página aleatória (ou possivelmente uma sequência de páginas com um propósito claro) .

    

Answer 2

Como outros já mencionaram, wget tem o benefício de não ser empacotado com complementos, cookies e cache, o que o torna potencialmente mais estável e seguro. Mas os navegadores e wget têm, na verdade, usos normais muito diferentes.

wget é um utilitário de linha de comando destinado a recuperar conteúdo, não apresentá-lo. Ele pode ser usado para recuperar e baixar qualquer coisa através de FTP, HTTP e HTTPS, incluindo qualquer tipo de arquivo (HTML, imagens, binários, etc.).

Para o servidor, a única diferença que verá será um user agent diferente, a menos que você use seu argumento --user-agent para especificar um navegador. Se você fizer isso, o servidor não verá nenhuma diferença.

    

Answer 3

1) downloads iniciados por um script em vez de um ser humano

2) baixar sites inteiros (ou fragmentos de sites) em vez de páginas separadas. (O Wget pode seguir automaticamente os links.)

O Wget tem algumas opções de linha de comando para controlar o que o servidor vê e pode pensar, incluindo atrasos arbitrários entre as solicitações de download de páginas. Mas se o servidor do site tiver alguma política anti-bot, você normalmente desperdiçará uma grande quantidade de tempo e tráfego antes de obter um resultado aceitável.

    

Answer 4

Ao usar um navegador, qualquer coisa dentro dele está ativa, incluindo addons indesejáveis e até mesmo malware, enquanto o wget é um comando simples que baixa o material e não faz absolutamente nada mais.

O navegador não é necessariamente menos seguro, mas é potencialmente assim.

Os servidores "veem" uma solicitação de download, como de costume.

    

Answer 5

O navegador pode gravar suas atividades no histórico e nos arquivos em cache.

wget não tem retenção de memória.

Dito isso, um navegador é mais conveniente e não me importo se a NSA descobrir que baixei 4.7.2-040702-generic na semana passada. Eu uso meu navegador para serviços bancários on-line e paypal, que é sem dúvida mais crucial do que a maioria dos arquivos que eu posso baixar com o wget.

    

Answer 6

Como um desenvolvedor que usa instalações remotas do Ubuntu, muitas vezes não há muito sentido em instalar a GUI do sistema operacional. Neste ambiente de 'linha de comando', o wget é uma ferramenta essencial para o download de arquivos da web.

Eu nem sei ao certo quais navegadores, se houver, podem ser executados no terminal.