Usando o curl com conexão xargs às vezes - alguma maneira de tentar novamente?

Question

echo $LIST | xargs -I{} -n 1 -P 8 sh -c 'curl -o backup.dump http://url.com'

Estou executando isso para uma grande quantidade de arquivos (cerca de 300). Depois de um tempo, às vezes, o curl trava e não progride para um arquivo. Isso é problemático porque todos esses são despejos de banco de dados importantes. Existe alguma maneira de redefinir ou reiniciar automaticamente a transferência pendente?

    

Answer 1

Você pode usar a combinação de tempo limite e novas opções:

curl --max-time <seconds> --retry <num>

--max-time é o tempo total para obter o arquivo.

--retry inicia uma nova tentativa após um erro de conexão ou o tempo limite.

Você também pode considerar as opções --connect-timeout , --retry-max-time e --retry-delay . Veja man curl para detalhes.