Embora geralmente não façamos recomendações de produtos neste site - sugiro que você analise o projeto J-Spider ( link ). Este produto permite o download completo de sites, bem como fazer testes de link, geração de mapa do site .. todos os tipos.
É uma peça bastante útil de kit.