Se você tem menos de 500MB / dia e está monitorando apenas um único servidor - ou não se importa de pagar, provavelmente está procurando por Splunk .
Vários processos registram vários formatos em vários locais com várias lógicas de rolagem em /var/log .
Eu gostaria que um visualizador de logs pudesse lidar com uma quantidade decente de dados, juntar arquivos de log de rollover e, idealmente, pudesse até intercalar registros de log para obter uma linha do tempo do que aconteceu na máquina.
Por exemplo, vi um pico de uso da CPU em um determinado horário esta manhã e gostaria de ver se há algo em qualquer um dos registros que explica isso.
P.S. Sim, eu sei que há problemas de configuração, como os logs do Apache podem ser "qualquer coisa", então você precisa dizer ao visualizador de log como analisar, e sim, eu entendo que a intercalação é difícil entre os produtos porque poucas colunas (exceto possíveis "data" e "geral" mensagem ") seria necessariamente alinhar.
Se você tem menos de 500MB / dia e está monitorando apenas um único servidor - ou não se importa de pagar, provavelmente está procurando por Splunk .
Confira esta pergunta ( Alguém está usando o Splunk em um ambiente de produção em larga escala? ) para experiências de outras pessoas com splunk e seus concorrentes.
Os homens de verdade usam o grep e imprimem seus registros. Faz um bom material de leitura antes de dormir. ; -)
Posso recomendar Lire do LogReport > projeto. Eu costumava trabalhar nesse projeto, mas é Open Source, e permite que você analise muitos arquivos de log diferentes. Existem Debian binário e pacotes do Ubuntu pelo menos, mas provavelmente para outras plataformas também.
Splunk pode lhe interessar.
Isenção de responsabilidade: é comercial e custa dinheiro além de uma certa quantidade de dados por dia.
Mas ele fornece uma interface para tudo o que você descreve acima.