Acho que você está procurando uma opção de espelhamento para wget, -m.
wget -m http://www.example.com/
Eu preciso criar um espelho de um diretório compartilhado por HTTP. O servidor de origem usa o módulo de índice do apache. Aqui está um exemplo de um diretório semelhante: link
O conteúdo não está disponível em FTP.
Eu posso usar o wget para baixar o espelho recursivamente. O efeito colateral é que, nesse caso, há index.html?.... arquivos criados.
Gostaria de saber se existe um utilitário que possa fazer isso facilmente, sem precisar limpar manualmente o diretório de destino?