Espelhando site com um deslocamento

Question

Eu segui as respostas aqui link , que são usando wget

Desejo fazer o download usando wget de um determinado deslocamento inicial http://www.gutenberg.org/robot/harvest?offset=100000filetypes[]=txt . Como eu já baixei arquivos anteriores, mas começa na primeira página.

Como posso evitar isso?

    

Answer 1

Acho que seu problema está nessa parte do URL:

?offset=100000filetypes[]=txt

Essa é uma string de consulta com dois campos ( offset e filetypes[] ).

Os pares de campos de valor nominal em uma string de consulta devem ser separados por um "e" comercial. Tente assim:

?offset=100000&filetypes[]=txt

Sem o & separando os campos, você está dizendo ao servidor que deseja um deslocamento de "100000filetypes [] = txt". O servidor então rejeita isso como um argumento inválido e dá a você um padrão de 0.