wget tamanho interno do buffer

Question

Estou constantemente usando wget para baixar muitos arquivos com mais de 1GB cada. Estou ficando preocupado sobre como isso pode estar sobrecarregando meu HDD. O tamanho do buffer interno do wget pode ser modificado para que ele grave no meu disco rígido com menos frequência? E quanto a curl ?

    

Answer 1

Você pode usar um buffer externo e canalizar a saída por ele.

Por exemplo, o programa buffer permite armazenar em buffer até 1 GB, e você pode especificar em qual porcentagem de nível de preenchimento ela deve começar a escrever:

Para armazenar em buffer 10 blocos de 512 kB (5 MB) e gravar no arquivo quando o buffer estiver cheio em 85%:

wget example.com -O- | buffer -s 512k -b 10 -p 85 > ./outfile.txt

(pode precisar de apt-get install buffer )

Mas, além de responder diretamente à pergunta, isso não parece algo que você precisa fazer manualmente. Talvez você possa configurar seu sistema de arquivos para armazenar em cache as operações de gravação um pouco mais antes de realmente gravar no disco? Depende do problema que você quer resolver exatamente.