Eu preciso monitorar alguns grandes arquivos de log ruidosos (500m / dia) de um aplicativo Java (log4j). Agora eu olho manualmente para os arquivos, grep para "ERROR" e assim por diante. No entanto, deve ser possível para uma ferramenta detectar padrões repetidos no arquivo, contá-los e fornecer detalhamento para os detalhes das entradas individuais. Alguém sabe de tal ferramenta? Uma interface de texto ou baseada na Web seria legal.
Já ouvi falar de pessoas aplicando filtragem Bayesiana em arquivos de log para localizar coisas interessantes em vez de entradas de log de rotina. Eles usaram filtros de spam, em que as entradas de rotina desinteressantes eram consideradas "boas", enquanto as incomuns eram consideradas "spam" e usavam essa coloração pela qual podiam se deslocar.
Soa muito parecido com aprendizado de máquina para mim, mas, novamente, eu não o vi em ação, só ouvi falar sobre cervejas.
Splunk faz maravilhas para esse tipo de coisa. Eu uso internamente para reunir todos os logs e fazer buscas rápidas através de sua excelente interface baseada em navegador.
syslog-ng tem um recurso chamado patterndb. Você pode fazer padrões e combinar entradas de log para eles em tempo real, em seguida, enviar essas entradas para separar arquivos de log.
Enquanto olhava para o syslog-ng e o patterndb (+1 para essa resposta, acima), encontrei uma ferramenta baseada na Web chamada ELSA: link . É o F / OSS em perl, com uma interface web, e supostamente é muito rápido.
Ainda não experimentei, mas assim que terminar de filtrar usando o patterndb, vou tentar o ELSA.
Teste petit .
Não tenho certeza se ele funcionará com o formato log4j, mas você pode gravar um filtro personalizado para isso.
Petit não tem interface web, ele exibe gráficos em seu shell (ASCII art ftw!).
É muito útil ver rapidamente as mensagens repetidas e descobrir quando elas aconteceram ou começaram a acontecer com mais frequência.
Se você estiver usando o debian / squeeze em seu servidor, dê uma olhada no log2mail: link
O Glogg é um bom explorador de logs, já que você tem a possibilidade de criar uma base de filtro na linha de cor e string ou recuperar toda a ocorrência para uma string.
Você pode experimentar o LogXtender do SEQREL, que detecta automaticamente padrões e agrega logs semelhantes. O jeito é criar expressões regulares e usar o regex em cache para corresponder a outros logs. Com a detecção de taxonomia adicional, mais granularidade pode ser adicionada. Uma versão gratuita pode ser baixada no link .
Tags log-files