Ferramentas de análise de log para Apache e Tomcat [closed]

Question

Estou procurando uma ferramenta de análise de registros para monitorar & analisar os logs de um Apache & Webfarm Tomcat.

Ele precisaria ter agentes executados nos servidores e enviar os logs de volta a um host central. O host os processaria e desenharia gráficos úteis, como solicitações / segundo, tempo médio de resposta, etc. A idéia é ter uma página "console", que apresentaria uma visão geral de todos os gráficos de aplicativos Web em uma página, com a capacidade para detalhar tempos específicos nos gráficos, etc.

O orçamento para isso é muito baixo (leia-se zero), então coisas como o Splunk estão fora.

Atualmente, o melhor candidato é o Logstash & eleasticsearch, mas parece bastante complexo para configurar e eu não sei se pode apresentar uma visão de console, as demos parecem ser mais baseadas em pesquisa ao invés de apresentar uma visão geral.

O Cacti também é uma opção, mas exigiria um meio de enviar os logs para o host central e escrever scripts personalizados para analisar os logs.

Existe outra ferramenta que poderia fornecer algo como isso que eu perdi? Parece um requisito bastante comum, por isso estou surpresa por não ter encontrado nada que o faça diretamente!

Para esclarecer - coisas como AWStats & Webalizer não é realmente adequado (e bem datado agora também!). Estou mais interessado na saúde de meus servidores do que de onde meus visitantes vieram.

    

Answer 1

Eu mesmo tive grande sucesso com o Logstash e o Elasticsearch, e o colocaria em níveis de complexidade "baixos a médios". Confira o vídeo de 30 minutos na página inicial do Logstash ou coloque $ 15 no eBook Logstash. Ambos foram muito úteis para configurar meu ambiente de tal forma que o Logstash analisa os logs, os lança no Elasticsearch, que o Graphite então consulta para construir gráficos n gráficos.

Como alternativa, confira o Piwik - ele é aparentemente um substituto para o Google Analytics, mas acredito que eles tenham um modo de análise de arquivo local semelhante ao funcionamento do awstats. Você pode configurar o rsyslog para lançar todos os seus registros http em um servidor central, que é então analisado pelo Piwik no modo de arquivo local, dando a você uma interface 'moderna'.

Por outro lado, você pode encontrar Newrelic mais ao seu gosto. Não é grátis (como em cerveja ou fala), mas eles são muito mais razoáveis que o Splunk.

    

Answer 2

Para esclarecer: eu não ligaria para coisas como AWStats & Webalizer "bem datado". Eles soam quase EXATAMENTE como o que você precisa. Existe algo que esses produtos não fazem que você precisa?

Você parece não estar disposto ou pelo menos muito hesitante em fazer qualquer script (de acordo com seus comentários cactos), então uma solução simples como a que você descartou parece ideal.

Se você está preparado para não usar as soluções acima, mod_apache_snmp & cactos devem te dar exatamente o que você quer. link

Por favor, note: em qualquer produto como este, haverá configuração envolvida.