Os servidores da Web não fornecem uma listagem de diretórios. (Não a menos que você diga a eles para fazê-lo.) Então, no caso geral, isso é impossível.
Você provavelmente pode usar o rsync + ssh para isso. Ou FTP.
Eu quero baixar do servidor http remoto todos os diretórios de arquivos, arquivos e assim por diante. Eu encontrei algumas soluções para o servidor FTP, mas não funciona para http. Até agora sem sorte com wget -r ou -m. Faça o download de todos os direcotories na raiz e no respectivo index.html. Nem todos os arquivos e subdiretórios sob tal (note que o subdiretório pode ter outro diretório e assim por diante)
não tenho certeza se as tags serão corrigidas para mim, se necessário. Nota: Eu não sou um falante nativo de inglês, desculpe pelo mau inglês.