Gerencia logs em um grande número de sistemas heterogêneos?

Question

Na equipe em que estou trabalhando há um problema com o gerenciamento de registros, gerenciamos mais de cem máquinas com sistemas heterogêneos, com várias centenas de aplicativos.

Sistemas heterogêneos com plataforma diferente: windows, linux, documentum, kofax, websphere, iis, etc. Todos com diferentes formatos de log e localização de log, alguns no visualizador de eventos e a maioria em arquivos de log separados, etc.

Às vezes é difícil descobrir em quais máquinas cada sistema é instalado, algumas vezes as máquinas ficam sem espaço livre, algumas vezes não há uma maneira fácil de encontrar onde os logs estão localizados.

Idealmente, os logs devem ser acessados muito rapidamente, para que possamos colaborar no fechamento de problemas, reduzindo imediatamente o tempo de inatividade de anomalias. E devemos mantê-los por algum tempo para que problemas não óbvios sejam detectados "a posteriori". E espaço em disco livre deve ser assegurado, sistema em ambiente de produção não deve parar nunca.

Você conhece uma solução e / ou produto que possa ajudar em uma situação como essa?

    

Answer 1

Se você puder disponibilizar os dados que deseja registrar via SNMP, uma ferramenta de monitoramento como Zenoss Principal ou o Nagios / Cacti permite que você recupere os dados SNMP de cada sistema, registre e faça gráficos, e gere alertas quando os limites forem excedidos. A coisa boa sobre o SNMP é que ele está disponível livremente e em várias plataformas. O Zenoss Core também é gratuito e fácil de configurar. Nós o usamos para monitorar apenas meia dúzia de servidores, mas ele pode ser dimensionado para muitas centenas. Alguns recursos exigem a versão corporativa não livre.

Uma ferramenta como Splunk é outra opção. Isso simplesmente coleta os dados de log brutos (você informa seus servidores para enviarem seus logs para o seu servidor Splunk), indexa-os e os torna pesquisáveis. Você pode criar relatórios, painéis e alertas. Ele requer mais configuração e não é gratuito, mas é poderoso porque é muito livre e permitirá correlacionar eventos em vários servidores. Confira o vídeo de demonstração deles.

    

Answer 2

Tenho certeza que Nagios é o jeito que você quer ir aqui. Nós configuramos em nossa rede e funciona muito bem.

    

Answer 3

Usamos montagens NFS da NetApp 2020 como pontos de registro central - você ainda tem que escrever algum código para procurar problemas, mas pelo menos eles estão em menos lugares para chegar.