Curl para baixar o arquivo CSV grande

1

Estou usando o curl através do Cygwin no Windows 7 para baixar o conteúdo do Apache Solr no formato CSV. Este é o meu comando que está sendo executado em um loop for

curl -o ret-key-data-$i.csv $URL

Como o conteúdo é muito grande, estou baixando 100 mil linhas por vez. O tamanho do arquivo é de aprox. 4 mb cada. No entanto, se eu aumentar a contagem de linhas para 1 milhão, o curl não está gravando nenhum conteúdo no disco.

Que outra opção devo definir para garantir que curl possa lidar com conteúdo maior?

EDIT : O comando não apresenta erro. Não trava. Aguarda por um período de tempo e termina com êxito, mas gera um arquivo zero kb. Parece que a rede está expirando.

    
por cosmos 12.05.2014 / 07:36

0 respostas

Tags