curl script - Aguarde o download terminar

Question

Abaixo, é parte de um script que eu uso para baixar arquivos de um site diariamente. No entanto, recentemente, eles adicionaram limites de velocidade para baixar arquivos. Eu aumentei o tempo de sono, mas depois todo o resto demora muito, há muitos arquivos para baixar e alguns são muito pequenos.

Desejo remover o tempo de espera sleep ou defini-lo como muito baixo e modifico o script para que ele espere o download do arquivo

EDITAR:

Encontrei a causa dos arquivos maiores que não concluíram o download. Failure when receiving data from the peer como posso corrigir isso? Eu li a mudança para wget é a melhor opção, mas como este script funcionaria com o wget?

#check directories are empty, not empty if there was a problem last time
cd /home/user/upload
if [ "$(ls -A /home/user/upload)" ]; then
#     echo 'Directory not empty error for csv manipulation' | /bin/mailx -s "Server scrapeandcleandomains error" use
     echo "$(date) Directory /home/user/upload not empty for csv manipulation"  >> /home/user/logfile
     exit 1
     else
     echo $(date) starting normal >> /home/user/logfile
fi

#create yesterday variable
yesterday=$(echo  $(date --date="$1 - 2 days" +"%Y_%m_%d" ) )
#$(date --date="-2 day" +"%Y_%m_%d")







#download .csv.gz files (old wget command) OBSOLETE!!!!!
#cd /home/user/upload
#wget -R html,"index.*" -A "$yesterday*.csv.gz" -N -r -c -l1 -nd --no-check-certificate --user USERNAME --password PASSWORD -np http://www.websitedownloadfrom.com/sub/
#exit 1

#download index and sanitize > index2.tmp
cd /home/user
curl -u "USERNAME:PASSWORD" -k  http://www.websitedownloadfrom.com/sub/ -o index.html.tmp
links -dump index.html.tmp > /home/user/index.tmp
#this will work until 2049 ONLY!!
sed -i '/20[1-4][0-9]/!d' index.tmp
sed -i '/\[DIR\]/d' index.tmp
for i in {1..50} ; do
   sed -i 's/  / /' index.tmp
done

awk -F" " '{ print $3 }' index.tmp > index2.tmp
sed -i "/^${yesterday}/!d" index2.tmp







#download .csv.gz files according to index2.tmp
while read F  ; do
    cd /home/user/upload
    curl -u "USERNAME:PASSWORD" -k  http://www.websitedownloadfrom.com/sub/$F -o $F &
    sleep 80
done < /home/user/index2.tmp

sleep 60

#check that we downloaded something
cd /home/user/upload
if ! [ "$(ls -A /home/user/upload)" ]; then
    echo 'nothing downloaded from upload'  >> /home/user/logfile
    rm -f /home/user/upload/*
    rm -f /home/user/index.html.tmp
    rm -f /home/user/index.tmp
    rm -f /home/user/index2.tmp
    exit 1
fi

    

Answer 1

Remova o comando sleep 80 e o & do comando curl imediatamente antes dele. Remover o & fará o script aguardar o término do curl download antes de prosseguir para a próxima passagem pelo loop.