Eu não sei nada ... Eu uso uma ferramenta chamada webinject.pl para testar sites. É um script perl que permite especificar entradas e resultados esperados e pode ser facilmente configurado para isso. Pode levar uma hora para você fazer isso funcionar.
Quanto a como automatizá-lo. O Agendador de Tarefas do Windows é bastante robusto e pode ser acionado em vários eventos. Você poderia vinculá-lo a um evento de logon ou entrada de log de eventos, ou simplesmente executá-lo a cada 5 minutos (isso é um pouco doloroso). Por exemplo, eu recebo um evento 32 no log do sistema quando estabeleço uma conexão de rede. Isso pode fazer isso.