Nosso CEO quer que verifiquemos todos os nossos mais de 100 websites hospedados / parceiros. Ela não quer apenas verificar se estão funcionando corretamente, mas gostaria de uma análise de diferenças nos sites, para que possamos manter um registro de todas as alterações que possam ter ocorrido de teste para teste. Existe um script ou aplicativo de código aberto que possa lidar com isso?
A parte inicial e de execução é fácil, você pode usar toda uma gama de ferramentas gratuitas para isso, como Nagios ou Cacti ou Zenoss, mas a dificuldade é muito mais difícil.
Você pode facilmente escrever seus próprios plugins no Nagios, então você pode implementar essa função estranha e fazer com que o Nagios faça o teste. Seria necessário um pouco de trabalho, mas poderia ser feito.
Eu acho que você primeiro precisa sentar com seu CEO e descobrir por que eles querem isso (e quanto eles estão dispostos a gastar para fazê-lo).
O funcionamento é razoável e simples - qualquer sistema de monitoramento decente pode fazer isso (veja Nagios , InterMapper , OpenNMS ). Planeje em um servidor dedicado para isso, e aproveite para monitorar serviços internos também.
Diferenças entre cada execução não são realmente razoáveis IMHO - especialmente com intervalos de pesquisa "normais" (5 minutos) para ver se o site está ativo ou inativo (o processo de difusão requer o download de todo o site, que ocupa muito espaço e tempo) especialmente se eles se preocupam com coisas como imagens / PDFs alterados). Você pode fazer isso acontecer se houver uma boa necessidade de negócios, mas você estaria falando de código personalizado (algo como WebWhacker , mas linha de comando / noninteractive para baixar o site, em seguida, um diff recursivo) e espaço em disco / largura de banda de rede.