Várias credenciais de usuário no wget

Question

Usando wget , é possível fornecer mais de um par de usuário / senha ao espelhar um site que tenha várias áreas protegidas por senha com credenciais diferentes?

Gostaria de espelhar um site inteiro com várias áreas protegidas. Como exemplo simplificado, considere a seguinte estrutura:

example.com/protected_area_1/ (user=alice, password=cat)
example.com/protected_area_2/ (user=bob, password=dog)

Agora, ao usar wget --mirror example.com , você pode fornecer adicionalmente os parâmetros --user e --password , mas fornecendo apenas um par de usuário / senha, uma das duas áreas protegidas não pôde ser baixada devido a 401 Authorization Required .

Existe uma maneira de fazer algo como wget --user=alice --password=cat --user=bob --password=dog (...) ? Em linguagem natural: Ao encontrar uma área protegida por senha, tente obter acesso tentando todas as credenciais fornecidas uma após a outra.

    

Answer 1

Se isso precisar ser feito com wget :

1. Se houver um pequeno número de combinações de nome de usuário / senha e o download não for excessivo, você poderá executar a árvore inteira repetidamente com cada combinação (usando --user e --password ) e combinar o resultado.

2. Se as diferentes combinações de usuário / senha dependerem de domínios, você pode tentar a opção wget --ask-password e expect e fornecer a opção certa na hora certa.

Para situações mais complexas de download eu sempre usei um programa baseado em selênio dedicado, que lida corretamente com a prática atual de carregar parte das páginas com javascript, bem como com outros esquemas de login que a autenticação básica que wget pode manipular. p>