Espelhando um site com páginas que usam JavaScript simples [duplicado]

Question

Existem ferramentas simples e ótimas de download de sites que permitem criar um espelho local de sites simples sem infra-estrutura de JavaScript. No entanto, às vezes há casos em que um site parece simples (e até tem idade suficiente para ser um site "web 1.0" real), mas nenhuma dessas ferramentas de download é capaz de criar um espelho dele. Eu tentei fazer um espelho local para este site de fãs (por exemplo, ele tem algumas transcrições que não podem ser encontradas em outro lugar e algumas coisas mais raras) usando o HTTrack Site Copier, o Free Download Manager e o wget. Todos eles fizeram simples espelhos sem muito conteúdo. Eu vi alguns scripts nessas páginas e, provavelmente, isso impede o espelhamento.

Como posso espelhar um site com o JS simples ativado? Talvez haja uma solução baseada em navegador da Web que suporte o JS fora da caixa (qualquer extensão de navegador, etc.)?

Obrigado antecipadamente.

    

Answer 1

Neste caso específico, acabei com o seguinte script bash :

#!/bin/bash

DOWNLOAD="wget -m -p -E -np -k"
SITE="http://homepage.tinet.ie/~themma"

$DOWNLOAD $SITE/
$DOWNLOAD $SITE/songs/
$DOWNLOAD $SITE/songs/songs.html
$DOWNLOAD $SITE/songs/disco.html
$DOWNLOAD $SITE/links/
$DOWNLOAD $SITE/other/
$DOWNLOAD $SITE/tour/

for i in 'seq 1 8';
do
    $DOWNLOAD $SITE/images/bar_0$i.gif
    $DOWNLOAD $SITE/images/bar_0$i-over.gif
    $DOWNLOAD $SITE/images/bar_0$i-bar_03_over.gif
done

for i in 'seq 1989 2003'
do
    $DOWNLOAD $SITE/images/$i.gif
done

Eu não consegui simular o comportamento do JavaScript, claro, mas como o site é extremamente simples, não é muito fácil analisá-lo para escrever um script de shell baseado em wget . É um pouco complicado, mas funciona. Obrigado a todos por sugestões.

Eu não marquei essa resposta como a melhor, porque minha resposta implementa apenas um caso específico. Então, qualquer idéia a respeito do caso mais geral é realmente bem-vinda (qualquer ferramenta de linha "cmd inteligente", extensões de navegador, etc.).