Carregue arquivos grandes com curl sem cache de RAM.

Question

Estou usando o curl para fazer upload de arquivos grandes (de 5 a 20Gb) para HOOP com base no HDFS (Hadoop Cluster) como segue:

curl -f --data-binary "@$file" "$HOOP_HOST$UPLOAD_PATH?user.name=$HOOP_USER&op=create"

Mas quando você faz o upload de arquivos grandes, tente armazená-los em cache na memória RAM, o que produz uma alta carga de memória. Eu tentei usar -N sinalizador de man curl , que deve desativar o buffer. Mas nada aconteceu. Então, minha pergunta é, existe alguma maneira de forçar o curl write diretamente para o socket, ou você poderia me aconselhar outro utilitário que irá cobrir minhas necessidades de simples solicitações HTTP POST / PUT.

Eu não quero escrever isso sozinho, já que parece que inventei uma bicicleta o tempo todo. Obrigado.

    

Answer 1

Infelizmente, de acordo com Daniel Stenberg, atualmente não é possível.

Veja o link