Análise e relatório de log em tempo real

Question

Temos um pequeno projeto em que estamos trabalhando em tempo parcial que é executado no Nginx / MongoDB no Ubuntu 10.04 LTS Server. Gostaríamos de poder ver relatórios sobre coisas como carga do servidor, solicitações / seg, tempo de resposta, carga do banco de dados, tempo de resposta do banco de dados, etc. Existe uma ferramenta de código aberto ou livre (como na cerveja) que pode analisar esses registros e fornecer um relatório em tempo real?

Eu olhei para o Splunk brevemente, mas queria ver se há outros que são altamente recomendados.

    

Answer 1

A maioria das métricas que você gostaria de ver é acessível através das respectivas estatísticas de aplicativos, o que é muito mais eficaz do que a análise de logs. E há vários projetos gratuitos destinados a coletar tais métricas, construir gráficos, verificar margens, enviar avisos, etc. Todos eles são projetados para serem facilmente extensíveis, de modo que existem muitos plugins para coletar métricas e você pode escrever seus próprios. Os nomes dos principais projetos dos quais me lembro são Munin , Cactos e Grafite , mas na verdade existem mais.

O Munin é um dos mais antigos e tem muitos plugins, mesmo no pacote padrão. Da sua lista:

• load de servidor Munin tem plugins para mostrar load average (LA), iostat, vmstat
• Nginx Munin tem "nginx_request" (req / seg) e "nginx_status" (número de conexões em um status específico, ou seja, ativo, leitura, escrita)
• tempo de resposta Tanto quanto sei, não existe esse plugin. Consulte esta pergunta para obter mais informações
• MongoDB A equipe do MongoDB fornece vários plugins do Munin no GitHub

Answer 2

Você pode fazer isso com um shell script e enviar o resultado para o Ganglia gmetric ou Nagios + PNP4Nagios.

    

Answer 3

AFAIK não há nada disponível para medir pedidos / seg. e tempos de resposta. Uma resposta para quais ferramentas você pode usar para capturar e relatar somente essas métricas preencheria um grande livro!

Para Mongo, a escolha é um pouco mais simples. Assumindo que você não quer rolar-se do zero, então dê uma olhada no toolkit de monitoramento do Server Desnity (empresa de hospedagem)

    

Answer 4

Você pode querer dar uma olhada no nosso módulo NGINX sFlow junto com o sFlowTrend.

Módulo sFlow do NGINX

sFlowTrend adiciona monitoramento de servidor da Web