Quero fazer o download de um fórum no qual eu só tenho acesso via meu nome de usuário e minha senha.
Eu tentei o seguinte:
C:\wget.exe wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.myforum1234.com/forum/categories/discussions
Então este é o comando que eu digito no meu cmd. Porque quando eu clico no wget.exe aparece uma janela preta, mas muito rapidamente desaparece. Mas eu acho que esta é também uma maneira correta (eu uso o Windows XP)?
Meu problema é que os resultados mostram que o wget não conseguiu baixar o fórum, pois não conseguiu logar. Então a página de login é mostrada (baixada), mas nada mais. Eu estava logado, quando exerci o comando.
Eu não sou um profissional do wget, então não tenho certeza se meu comando está correto? Eu copiei isso de outro post. Um simples C:\wget.exe wget http://www.theforumurl.com não funcionou.
EDITAR :
Eu também experimentei
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://www.myforum.com/forum/categories/discussions
Mas o mesmo problema aqui.
2ª EDIT referente ao link no primeiro comentário:
Eu agora tentei
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://www.myforum.com/forum/categories/discussions --post-data="username&password=1234"
Mas, novamente, o mesmo problema!
Quando alterno o botão de login, vejo o seguinte URL:
http://www.myforum.com/user/popupLogin
Eu tenho que usar este aqui?
3ª EDIT :
Eu também tentei adicionar o nome de usuário: senha @ antes do www., assim:
C:\wget.exe wget -k -m -E -p -np -R *start=0* -o log.txt http://user:[email protected]/forum/categories/
O resultado é o mesmo, vejo que o login não funcionou.
4º EDIT :
Eu também tentei de acordo com este tópico :
C:\wget.exe wget --save-cookies cookies.txt --post-data 'user=usern&password=passw' http://www.myforum.com/user/popupLogin
C:\wget.exe wget --load-cookies cookies.txt -p http://www.myforum.com/forum/categories/
Mas, novamente, o mesmo problema !!
5ª EDIÇÃO :
Acho que agora isolei o código-fonte do botão de login:
<div class="forumSignup">
<a href="http://www.myforum.com/user/popupLogin" class="Button SignInPopup">Login</a> </div>
6º EDIT :
Eu também tentei com HTTrack, mas o problema é o mesmo: O login não funciona. Outro problema parece ser que o forum itslef usa o URL www.mywebsite.com/forum, mas o login é necessário para o www.mywebsite.com. Então, quando eu uso, e. algo como nome de usuário: [email protected] o mywebsite é capturado, mas não o fórum. Quando eu uso o nome de usuário: [email protected]/forum, o login não funciona e nada é capturado.
Primeiro de tudo, você faria C:\wget.exe -k -m … , você não repetirá wget name.
Como o login no fórum parece complicado (pode ser complexo mesmo para sites simples), a melhor solução é provavelmente fazer o login com o seu navegador e depois dar os cookies * para wget (colocar em um arquivo e usar --load-cookies ou passá-los diretamente com --header "Cookie: name=value" ).
* A maneira de extraí-los varia um pouco dependendo do seu navegador.
O Wget interpreta <pass>@serveraddress como porta.
Para especificar um nome de usuário e senha, use as opções --user e --password :
wget --user username --password passw http://...
É difícil espelhar um site com login usando wget . Você precisa de conhecimento especializado para usar wget . Atualmente você passa o nome de usuário e senha, cookies e switches necessários.
Coisas adicionais para fazer.
1. Evite espelhar até que tudo esteja o.k., Como o download recursivamente da página forçar o servidor web para adicionar seu IP à lista negra. (tente salvar página única)
2. Fake wget como um navegador, pois a maioria dos fóruns da web odeia gerenciadores de download. veja esta resposta para mais informações.
A maneira mais fácil e mais fácil de espelhar esse tipo de site é usar ** álbum de recortes **. É um plugin do firefox. Tudo que você precisa fazer é lançar o firefox, faça o login no site, clique com o botão direito - > salvar página como, filtrar por domínio. veja esta resposta para espelhar eficientemente um site.
Se você tiver acesso a dados de cookies em um navegador (o Firefox tem seu próprio cookie em opções- > privacy, mas existem plugins para facilitar essa tarefa), faça um login manual no fórum, pesquise todos os cookies para esse domínio e armazená-los no arquivo cookies.txt, provavelmente funcionaria com o comando anterior:
C:\wget.exe wget --load-cookies cookies.txt -p http://www.myforum.com/forum/categories/
Algumas páginas de logins são complexas demais para tentar executar a tarefa em uma única linha de comando.
Lembre-se de incluir TODOS os cookies para todo o domínio (pesquise "myforum.com", não apenas "www.myforum.com")
Tags wget