Normalmente eu uso o GNU wget para pegar sites de forma recursiva.
Mas eu quero buscar alguns sites com muitos URLs Unicode para vários idiomas e gostaria de manter o Unicode nos nomes dos arquivos. ( Aqui está um exemplo. )
wget tem a linha de comando comutadores --local-encoding
e --remote-encoding
, mas eles não parecem suportar a codificação nativa do sistema de arquivos do Windows, UTF-16. Eu acho que isso é porque o wget é projetado para * nix que nunca tem UTF-16 como um sistema de codificação para nomes de arquivos e portas do Windows de wget não são oficiais.
Como posso fazer isso no Windows e manter os arquivos usando o Unicode correto?