Eu quero baixar um site inteiro (com sub-sites). Existe alguma ferramenta para isso?
Experimente o exemplo 10 de aqui :
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
–mirror : ative as opções adequadas
para espelhamento.
-p : faça o download de todos os arquivos necessários para exibir corretamente um dado
Página HTML.
--convert-links : após o
baixar, converter os links em
documento para visualização local.
-P ./LOCAL-DIR : salva todos os arquivos e diretórios no diretório especificado
diretório. 
httrack é a ferramenta que você está procurando.
HTTrack permite que você baixe um site da World Wide Web da Internet para um diretório local, criando recursivamente todos os diretórios, obtendo HTML, imagens e outros arquivos do servidor para o seu computador. O HTTrack organiza a estrutura de links relativa do site original.
Com wget você pode fazer o download de um site inteiro, use a opção -r para um download recursivo . Por exemplo,
wget -r http://www.google.com
WEBSITE WEB SITE COPIER é uma ferramenta útil para fazer o download de um site inteiro em seu disco rígido para navegação off-line. Inicie o ubuntu software center e digite "webhttrack website copier" sem as aspas na caixa de pesquisa. selecione e faça o download do software no seu sistema. iniciar o webHTTrack a partir do menu inicial ou do menu inicial, a partir daí você pode começar a desfrutar desta ótima ferramenta para os downloads do seu site
Eu não sei sobre sub-domínios, ou seja, sub-sites, mas o wget pode ser usado para pegar um site completo. Dê uma olhada na esta pergunta de superusuário .
Ele diz que você pode usar -D domain1.com,domain2.com para baixar diferentes domínios em um único script. Eu acho que você pode usar essa opção para baixar subdomínios, por exemplo -D site1.somesite.com,site2.somesite.com
Eu uso o Burp - a ferramenta spider é muito mais inteligente do que o wget, e pode ser configurada para evitar seções, se necessário. A própria Burp Suite é um poderoso conjunto de ferramentas para auxiliar nos testes, mas a ferramenta spider é muito eficaz.
Você pode fazer o download de um site inteiro com este comando:
wget -r -l 0 website
Exemplo:
wget -r -l 0 http://google.com
-r
--recursive
Turn on recursive retrieving. The default maximum depth is 5.
-l depth
--level=depth
Specify recursion maximum depth level depth.
Assista este tutorial para saber mais
Fontes: man wget
Se a velocidade é uma preocupação (e o bem-estar do servidor não é), você pode tentar o puf , que funciona como o wget mas pode baixar várias páginas em paralelo. Não é, no entanto, um produto acabado, não mantido e horrivelmente indocumentado. Ainda assim, para baixar um site com muitos arquivos pequenos, isso pode ser uma boa opção.