Evita que o 'wget' fique suspenso quando encontrar o erro 500

Question

Estou baixando alguns milhares de arquivos listados em um arquivo usando:

wget -i filename

Às vezes, ele encontra o seguinte erro relatado pelo servidor para um arquivo específico:

HTTP request sent, awaiting response... 500 Internal Server Error

O problema é que wget , em seguida, trava. O que eu quero para ele pular esse arquivo e continuar baixando o resto da lista. Como posso fazer isso?

    

Answer 1

Tente usar wget --tries=1 --waitretry=1 -i filename . Isso tentará apenas uma vez após uma falha e esperará apenas um segundo antes de fazer isso. Também é possível que o servidor não esteja fechando o soquete após o envio do erro 500. Nesse caso, a adição de --read-timeout=30 esgotará a conexão após 30 segundos sem dados do servidor. Veja o manual