O wget recursivo eventualmente começa a falhar com “Não é possível resolver o host” / “Falha temporária na resolução de nomes”

Question

Quando recursivamente wget -tendo um site razoavelmente grande, depois de baixar 18 MB ou mais, wget começa reclamando "Não é possível resolver o host" e / ou "Falha temporária na resolução de nomes", embora eu possa procurar o anfitrião está bem com host ou dig .

Por conselho de vários fóruns, tentei:

1. comentando a linha hosts em /etc/nsswitch.conf
2. substituindo servidores de nomes potencialmente desonestos em /etc/resolv.conf pelos 8.8.8.8 e 8.8.4.4 do Google
3. adicionando explicitamente o nome a /etc/hosts

Não parece importar se eu defini --no-dns-cache na linha de comando wget ; a mesma coisa acontece.

Não sei dizer se wget acabará ou se vai ficar preso nesse estado. Seria bom se terminasse, já que preciso disso para --convert-links .

Estou executando wget 1.11 (compilado a partir do código-fonte, porque 1.12 e posterior têm quebrado o comportamento de --no-clobber com --convert-links , pelo menos para meus propósitos) em um sistema Linux Mint 14.

O que causa isso? Existe uma maneira de consertar isso?

    

Answer 1

Infelizmente, a correção real provavelmente estará usando a versão mais recente de wget , pois os problemas provavelmente já foram corrigidos. 1.11 tem cerca de 5 anos de idade. Há um 1.11.4 também se você estiver usando o original 1.11 .

Como alternativa (e isso é horrível ... e pode não funcionar dependendo do que está acionando o uso do descritor de arquivo):

• Aumente o ulimit do arquivo para o usuário que está executando o wget.
• Desenvolva uma maneira de retomar seu wget bem.
• Monitore o uso do fd via lsof ou um simples ls /proc/$pid/fd
• Reinicie seu wget quando chegar perto do seu ulimit de arquivos.

Caso contrário, você precisaria rastrear o que está vazando os fd em wget e corrigí-los. Pode haver patches de vazamento de descritor de arquivo conhecidos que você poderia fazer backport para 1.11. Eu não consigo encontrar um controle de versão pública para a fonte wget embora.