Eu trabalho em um projeto de pesquisa que usa vários bancos de dados fornecidos por empresas privadas. Eu preciso obter uma enorme quantidade de informações de um desses bancos de dados para executar um teste estatístico sobre as informações. O problema é que o site não é muito amigável e só me permite baixar 10 casos (uma folha) por vez (haverá cerca de 25.000 folhas para download ...). Alguma sugestão?
Isso é o que eu tentei até agora: - DownThemAll (uma aplicação para o navegador Firefox) permite-me obter 10 folhas de uma só vez. O que é ótimo, mas ainda está longe do que eu preciso. O problema aqui é que eu teria que apertar um botão "próximo" para ver o número das próximas folhas a serem baixadas - e o DownThemAll não notou que deveria pressionar esse botão e prosseguir para baixar as planilhas listadas naquela página, e continue repetindo o processo.
Haveria uma linguagem de programação que eu poderia usar para fazer o seguinte: fazer um loop pedindo para fazer logon no banco de dados, obter uma parte das informações, fazer logout, fazer logon novamente, obter mais um tibit, log fora, etc, até obter toda a informação?
Atualizar
Basta escrever para agradecer a todos - não tenho representante suficiente para votar em suas respostas - ou apenas deixar um comentário agradecendo pelo seu tempo.
Como o slhck apontou, você pode fazer isso em praticamente qualquer linguagem de programação de uso geral.
O tratamento de cookies e outros comportamentos específicos do navegador pode exigir um pouco de trabalho extra.
Existem bibliotecas que tentam emular um navegador até certo ponto, verifique o mecanismo link (python)
e enrolar link que tem portas e ligações para alguns idiomas AFAIK.
Claro, estamos assumindo que você pode / deveria fazer isso.
Você pode tentar um downloader de website recursivo que suporte login, como Offline Explorer Pro (não gratuito). Ele permite que você use seu navegador interno para efetuar login e usará o cookie resultante para rastrear o site. Discussão do fórum sobre isso.
Se existe um software gratuito que faz isso, eu adoraria saber.
Tags software-rec