Se você usar a capacidade de download recursivo wget ou fornecer uma lista de arquivos para obter ou ambos, use sua opção --wait para obter o mesmo efeito.
--wait=4 adicionará uma pausa de quatro segundos entre cada arquivo, o que significa que você pode obter no máximo 900 arquivos por hora (você só obteria a 900 / hora se cada transferência de arquivo fosse instantânea). Se você souber que cada arquivo levará mais de 0,6 segundos para fazer o download, poderá usar --wait=3 , que seria mais rápido, obviamente, mas poderia quebrar o limite de 1000 arquivos / hora (se cada transferência de arquivo fosse instantânea, você poderia obter 1200 / hora) .
wget está nos repositórios padrão para praticamente todas as variantes do Linux (e geralmente é instalado por padrão) e está disponível para o Windows e outros sistemas operacionais também. É uma ferramenta de linha de comando, mas há muitos wrappers front-end de GUI para ele, se você preferir (eu não posso recomendar um pessoalmente, já que eu sempre uso o wget na linha de comando).