Dê uma olhada no wget
Esse site diz especificamente: "Não use um acelerador de download para baixar esses arquivos." então não faça isso!
Por exemplo, veja esta página Programação Avançada em Linux .
Eu quero baixar todos os arquivos pdf vinculados a esta página. Existe uma maneira simples de fazer isso?
Algo nas linhas de
download http://www.advancedlinuxprogramming.com/alp-folder *.pdf Downloads/
Você pode usar o curl e o wget, além de verificar as duas páginas do manual para ver todos os argumentos úteis que você pode usar.