Existe um projeto de monitoramento de log de código aberto chamado Log.io . Se eu estou entendendo sua pergunta corretamente, ela faz exatamente o que você quer (monitoração e análise de web "em tempo real" dos logs do servidor, com capacidades de filtragem), e é baseado em node.js provavelmente se integrará mais facilmente ao seu projeto.
Outra plataforma comum de monitoramento / análise de logs que você pode estar interessado em analisar é Nagios .
Provavelmente você não precisa escrever seu próprio aplicativo de monitoramento de logs, e mesmo se decidir fazê-lo, observar o código dos projetos acima provavelmente fornecerá alguns bons exemplos de como escrever seu próprio software de monitoramento de registros. .