Checando por links mortos em um arquivo html?

Question

Eu tenho um arquivo html com várias centenas de links, um banco de dados de pesquisa meu, de um tipo, coletado ao longo dos anos. Qual seria a maneira mais fácil de verificar qual deles ainda está vivo?

(importar no firefox está fora de questão)

    

Answer 1

Use wget . Simples, scriptável, linha de comando e disponível em sua plataforma favorita, seja Unix-ish, Win *, Cygwin, etc. (veja Wikipedia para links para várias versões). Na página de manual :

--spider
When invoked with this option, Wget will behave as a Web spider, which means that it will not download the pages, just check that they are there. For example, you can use Wget to check your bookmarks:

wget --spider --force-html -i bookmarks.html

This feature needs much more work for Wget to get close to the functionality of real web spiders.

Você também pode querer as opções --no-verbose e / ou --output-document=file .