Como posso baixar um fórum phpbb com wget incluindo seções protegidas por senha?

Question

Eu quero fazer um download de um fórum que eu moderado, antes de fechar para sempre. Há algumas informações úteis que eu quero salvar para mim e não quero exportar os dados para outro servidor da Web, apenas quero as páginas. Lembre-se, sou um usuário no fórum, não o administrador. Agora, eu pesquisei isso e descobri que isso pode ser feito facilmente com o wget: Como posso baixar um fórum phpbb inteiro (ativo)?

Eu usei:

wget -k -m -E -p -np -R viewtopic.php*p=*,memberlist.php*,faq.php*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* -o log.txt http://www.example.com/forum/

Eu experimentei isso, mas só consigo baixar as seções visíveis publicamente, não as seções que você precisa fazer login. Eu tentei fazer isso usando um plugin do Firefox para fazer um cookies.txt (enquanto minha sessão está logada no fórum) e adicionar - load-cookies arquivo cookies.txt ao comando, mas ainda assim Eu só recebo as seções publicamente visíveis.

Alguma sugestão para fazer isso funcionar?

    

Answer 1

Você pode precisar configurar cookies para a sessão porque muitos sites usam cookies para fazer as funções de login e logout funcionarem.

A opção "--load-cookies" pode ajudá-lo aqui.

    

Answer 2

veja minha resposta aqui: link

Primeiro, precisa obter o SID e usá-lo na próxima solicitação.

Exemplo com login:

PHPBB_URL=http://www.someserver.com/phpbb
USER=MyUser
PASS=MyPass

wget --save-cookies=./session-cookies-$USER $PHPBB_URL/ucp.php?mode=login -O - 1> /dev/null 2> /dev/null

SID='cat ./session-cookies-$USER | grep _sid | cut -d$'1' -f7'

echo "Login $USER --> $PHPBB_URL SID=$SID"

wget --save-cookies=./session-cookies-$USER \
 --post-data="username=$USER&password=$PASS&redirect=index.php&sid=$SID&login=Login" \
 $PHPBB_URL/ucp.php?mode=login --referer="$PHPBB_URL/ucp.php?mode=login" \
 -O - 1> /dev/null 2> /dev/null

wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting.php*,search.php*,ucp.php*,viewonline.php*,*sid*,*view=print*,*start=0* $PHPBB_URL/viewtopic.php?t=27704

######## loop thru topics see below(but above should get most with the options. 
#wget --load-cookies ./session-cookies-$USER -k -m -E -p -np -R $PHPBB_URL/viewtopic.php?t={1..29700}