Existe uma área de trabalho ou aplicativos da web que pesquisariam links quebrados no meu site?
Eu quero que ele fique dentro do domínio que eu forneci e verifique os links que vão de uma página para outra, bem como links que vão para outros sites. Gostaria de relatar erros 404, 5XX, 3XX e outros erros.
Damas de links para computadores
Damas de links baseados na Web
LinkChecker é um validador de URL licenciado em GPL gratuito.
recursive and multithreaded checking
output in colored or normal text, HTML, SQL, CSV, XML or a sitemap graph in different formats
HTTP/1.1, HTTPS, FTP, mailto:, news:, nntp:, Telnet and local file links support
restriction of link checking with regular expression filters for URLs
proxy support
username/password authorization for HTTP and FTP and Telnet
honors robots.txt exclusion protocol
Cookie support
HTML and CSS syntax check
Antivirus check
a command line interface
a GUI client interface
a (Fast)CGI web interface (requires HTTP server)
Você pode usar a ferramenta de validação de links do W3C - Verificador de links do W3C .
Eu uso o add-on LinkChecker do Firefox para verificar páginas únicas (o verificador W3C é outra opção menos amigável).
Para conjuntos de páginas ou sites inteiros, o Sleuth Link do Xenu mencionado anteriormente é muito rápido, pois (ao contrário das opções acima) verifica muitos links simultaneamente.
Você também pode considerar a execução de wget no modo -spider . Veja o link para as páginas wget man:)
wget -spider <URL> parece estar na linha do que você está perguntando.