wget
tem uma opção de espelhamento ( -m
) que pode passar por um site e fazer uma cópia local. É como a opção de pré-requisitos ( -p
), exceto que ele seguirá todos os links no domínio e baixará todas as páginas do site (que estão vinculadas). Se você precisa apenas de arquivos em uma página, -p
é suficiente.
Se você planeja espelhar as páginas, use a opção -k
para corrigir links. Isso é completamente opcional e não é necessário se você estiver apenas após os recursos.
Um problema que tive ao fazer isso é que alguns sites usam um arquivo robots.txt para impedir que o Google (e outros) copie ou armazene em cache seus ativos. wget
normalmente adere a isso também, mas podemos desativá-lo. Vale a pena fazer isso como um todo.
Junte tudo e você acaba com algo assim:
wget -mke robots=off http://website