wget: 401 Não autorizado

Question

Quero fazer o download de um site inteiro protegido pelo NTLM, mas ele falha com:

HTTP-Anforderung gesendet, warte auf Antwort... 401 Unauthorized

Unbekanntes Authentifizierungsschema.

Authorisierung fehlgeschlagen.

Este é o comando que usei:

# wget --http-user=expample.com/username --http-password='mypassword' http://example.com/ -v

As credenciais de login estão 100% corretas.

# wget --version
GNU Wget 1.13.4 übersetzt unter linux-gnu.

+digest +https +ipv6 +iri +large-file +nls -ntlm +opie +ssl/gnutls

Wgetrc:
    /root/.wgetrc (Benutzer)
    /etc/wgetrc (System)
Lokale: /usr/share/locale
Übersetzt: gcc -DHAVE_CONFIG_H -DSYSTEM_WGETRC="/etc/wgetrc"
    -DLOCALEDIR="/usr/share/locale" -I. -I../lib -I../lib
    -D_FORTIFY_SOURCE=2 -Iyes/include -g -O2 -fstack-protector
    --param=ssp-buffer-size=4 -Wformat -Werror=format-security
    -DNO_SSLv2 -D_FILE_OFFSET_BITS=64 -g -Wall
Gebunden: gcc -g -O2 -fstack-protector --param=ssp-buffer-size=4 -Wformat
    -Werror=format-security -DNO_SSLv2 -D_FILE_OFFSET_BITS=64 -g -Wall
    -Wl,-z,relro -Lyes/lib -lgnutls -lgcrypt -lgpg-error -lz -lidn -lrt
    ftp-opie.o gnutls.o ../lib/libgnu.a

    

Answer 1

Os --http-user e --http-passwd são úteis apenas em conjunto com a autenticação básica no site.

Isso raramente é usado e facilmente reconhecido, pois o nome de usuário e a senha são solicitados fora das páginas da web, solicitando um nome de usuário e senha, e solicitando que o servidor diga:.

O site provavelmente usa algum outro esquema para consultar o nome de usuário e a senha e manter isso para as sessões (geralmente algum esquema baseado em cookie). wget também pode lidar com isso (veja a man page e procure por --save-session-cookie e load-cookies ), mas talvez seja melhor automatizar isso com algo como selenium , onde você diz a um navegador real para fazer o trabalho e onde preenche os campos de forma programática e clica nos botões. Na minha experiência, isso sempre funciona, mesmo com sites strongmente infundidos com javascript.