wget clone não é exato

Question

Estou tentando obter uma réplica exata de uma página. Eu uso:

wget -E -H -k -K -p http://example.com

Tudo funciona bem, exceto:

1. Se no meu estilo houver uma importação de outro arquivo CSS, ele não será baixado.
2. Se o JavaScript colocar as imagens em qualquer lugar, elas não serão baixadas (coloque uma classe em uma tag de âncora e, em seguida, no meu arquivo script.js, tenha jQuery colocado uma imagem lá.

Alguma idéia de como fazer isso funcionar?

    

Answer 1

Eu uso o pavuk para espelhar e funciona muito bem - o espelho resultante é visível no navegador e também analisa parcialmente o javascript (mas é claro que não completamente):

/usr/bin/pavuk -enable_js -fnrules F '*.php?*' '%o.php' -tr_str_str '?' '_questionmark_' -norobots -dont_limit_inlines -dont_leave_site http://www.example.com/ >OUT 2>ERR &

Você também pode usar o -skip_url_rpattern para evitar que alguns scripts dinâmicos inúteis sejam espelhados, por exemplo:

-skip_url_rpattern 'index.php\?Addcomm=' -skip_url_rpattern 'index.php\?cal=1'