Agregação de log flexível e de baixo custo [fechada]

Question

Estou começando a ter a coleção de VMs do Ubuntu que preciso gerenciar. Estou começando a investigar o Puppet por gerenciar a configuração de todos eles e a apticron para me informar sobre o que está desatualizado. Mas o problema com o qual eu devo lidar mais cedo ou mais tarde é a agregação de logs. Eu gostaria de permanecer no reino do free / open source por enquanto, visto que não temos muito orçamento para algo como splunk ainda.

Além do syslog, gostaria de coletar logs específicos de aplicativos (estamos executando aplicativos diferentes em máquinas diferentes, de nginx + passageiro para rails, para Apache + Tomcat para java, para PHP para mecanismo de expressão e mysql / postgresql servidor de banco de dados), para que possamos analisar os dados relevantes.

Por enquanto, estou procurando apenas colocar todos os registros em um lugar.

    

Answer 1

Muitos aplicativos podem fazer log no syslog, o que significa que você pode obter os logs em um servidor de log. apache, mysql, tomcat (log4j) pode, pelo menos.

Então você precisa de um servidor syslog competente para fazer a agregação. Eu uso o syslog-ng, mas isso é porque foi a única alternativa séria 7 anos atrás. O Debian Lenny mudou para o rsyslog, que provavelmente tem uma base de código mais segura e ainda mais recursos.

Na minha experiência, um bom mecanismo regex é a parte mais importante de um servidor syslog agregado. Há tanto gorp que você quer filtrar para poder ver as partes relevantes. Você também pode apontar o logwatch nos logs agregados se quiser começar rapidamente.

EDIT: eu deveria ser explícito. Nossa estratégia é registrar tudo de um host específico para um ou mais arquivos em uma pasta para esse host e, simultaneamente, fazer login em arquivos altamente filtrados que registram determinadas atividades em todos os hosts. Por exemplo, pode haver um arquivo com logins com falha em todos os hosts.

    

Answer 2

Outro projeto interessante é o Octopussy . É um analisador de log de código aberto, alerta e repórter. Eu não tive a chance de configurar isso ainda, mas eu ouvi algumas coisas boas sobre isso.

Alguém mencionou o Zenoss. Eu uso o Zenoss e enquanto ele pode alertar baseado em logs eu não diria que é o ponto strong. Sua principal tarefa é monitorar e alertar com base no snmp, para o qual eu o utilizo.

    

Answer 3

O LogZilla é altamente escalonável (centenas de milhões de eventos) e é 1/10 do custo do outro software em sua classe. Também é muito mais fácil de usar.

    

Answer 4

Para agregação e análise de log, você deve tentar ECA (Correlação e análise de eventos) ou SIEM (Gerenciador de eventos de informações de segurança). Por exemplo:

• AlienVault
• Zenoss
• Splunk

Answer 5

No resumo de análises, o Flume é um fantástico agregador e transporte de log de código aberto. Ele tem uma comunidade ativa e é apoiado por Cloudera .