Eu costumo usar httrack
para baixar / espelhar o conteúdo da web de um site.
$ httrack http://2011.example.com -K -w -O . -%v --robots=0 -c1 %e0
Após a execução, você fica com uma estrutura de diretórios local e navegável. Por exemplo:
$ ls -l
total 304
-rw-r--r-- 1 saml saml 4243 Aug 17 10:20 backblue.gif
-rw-r--r-- 1 saml saml 828 Aug 17 10:20 fade.gif
drwx------ 3 saml saml 4096 Aug 17 10:20 hts-cache
-rw-rw-r-- 1 saml saml 233 Aug 17 10:20 hts-in_progress.lock
-rw-rw-r-- 1 saml saml 1517 Aug 17 10:20 hts-log.txt
-rw------- 1 saml saml 271920 Aug 17 10:22 hts-nohup.out
-rw-r--r-- 1 saml saml 5141 Aug 17 10:20 index.html
drwxr-xr-x 10 saml saml 4096 Aug 17 10:21 2011.example.com
Ao fazer o download, você verá o seguinte tipo de saída:
Bytes saved: 21,89KiB Links scanned: 12/45 (+4)
Time: 2s Files written: 4
Transfer rate: 2,65KiB/s (2,65KiB/s) Files updated: 1
Active connections: 1 Errors: 7
Current job: parsing HTML file (57%)
request - 2011.example.com/cgi-bin/hostnames.pl 0B / 8,00KiB
Pode ser em segundo plano e / ou abortado e depois retomado. Esta é apenas a ponta do iceberg em termos de recursos. Há também uma GUI para configurar e baixar um download à medida que avança.
Existe uma extensa documentação no httrack
website e no googling.