Eu preciso percorrer periodicamente um site para atualizar o cache do servidor. É um site baseado em banco de dados com muitas (milhares de) páginas. Eu uso wget para espelhar o site localmente no mesmo servidor, então eu uso este comando:
wget --mirror localhost
Depois de algum tempo, ele pára de repente com esta mensagem:
Pedido HTTP enviado, aguardando resposta ... Terminado
Acontece sempre, mas não exatamente no mesmo URL. E eu tentei em outro servidor também com o mesmo resultado.
A opção --debug não fornece nenhuma informação útil, nem o arquivo de log do Apache.
Qual poderia ser a causa desse problema? Eu suspeito que algum buffer fique sem memória, etc. Ou um estouro de pilha.
Alternativamente, existem outras ferramentas de linha de comando que podem fazer o mesmo?
É o Wget 1.11.4 no Debian Lenny.
Martin
É possível que o servidor esteja realizando algum tipo de análise dos seus padrões de download e reprimindo suas solicitações. Dê uma olhada em algumas das opções do wget para limitar a taxa de suas solicitações - veja em --limit-rate , --wait e --random-wait .
Eu não encontrei maneiras de fazer o wget atravessar o site completo sem terminar prematuramente, mas me deparei com httrack que faz o trabalho perfeitamente .