Eu faço rotineiramente 3k < .5MB arquivos, e eu uso o Gerenciador de Download Gratuito .
Eu não posso dizer se há soluções melhores ou mais leves, mas isso funciona e faz o que eu preciso - eu vou página por página, clique com o botão direito, adiciono tudo ao IDM, então quando eu terminei, eu realce todos eles no IDM e comece!
Eu nunca fiz 30k de uma só vez, mas espero que isso ajude!
Como @Shiki já disse: wget
wget -i lerá todos os URLs de arquivos externos e os processará
O link do Jdownloader é um interessante Java Downloader multiplataforma que está sendo desenvolvido continuamente. Não é leve, e pode ser um risco de segurança para todos que eu sei. 30k provavelmente teria que ser feito em seções. mas tem uma maneira de fazer backup da lista e carregar listas. Seu design principal parece ser mais sobre o download de "servidores públicos", mas funciona bem para coisas normais.
Eu já vi 5000 itens, mas isso foi porque eu pedi para analisar um link que ficava para sempre, ooops.
Eu uso o curl ( link ). Tem um monte de bons recursos para downloads em massa. Ele permite que você especifique muitos arquivos em uma chamada, assim:
CURL.EXE http://example.com/file[1-10].mp3
Isso fará o download de "file1.mp3", "file2.mp3" e assim por diante.
Eu usei para baixar muitos arquivos, mas não 5.000. No entanto, em princípio, deve funcionar.