Soltar solução para o registro em log no DB

Question

Estou pensando em configurar nossos servidores para fazer login em um banco de dados Mongo em vez de arquivos de log. Os registros serão, então, todos em um servidor, poderão ser consultados e, em geral, mais fáceis de gerenciar.

Adoraria encontrar uma solução que permitisse que todos os processos diferentes que eu executasse gravassem no banco de dados em vez de em arquivos (ou talvez algo para ler os arquivos, passar os logs e truncar os arquivos). Não quero ter que encontrar uma solução diferente para cada processo, se puder evitá-lo.

Então, alguém sabe de uma solução existente para esse problema?

    

Answer 1

Você não está muito claro sobre quais logs (sistema, web, outros?) que você deseja enviar para o MongoDB, mas como a maioria das coisas pode ser descartada no syslog de uma forma ou de outra, essa é provavelmente a rota mais fácil. / p>

syslog-ng suporta o registro em log no MongoDB directamente , então qualquer coisa que você possa entrar no syslog parece ser bastante fácil MongoDB usando essa solução.

Para outras possíveis soluções, dê uma olhada em fluentd e, claro, há outras opções lá fora, para o registro do banco de dados com o syslog.

    

Answer 2

Eu uso Logstash com Kibana . Há várias maneiras de obter logs de arquivos e de syslog para entrar no Logstash. Ele usa o Elasticsearch como backend principal, mas também pode injetar no Mongodb .

Se você trabalha com o centralizado ou standalone tutoriais aqui, você terá um bom começo.

    

Answer 3

O MongoDB não será de muita ajuda se tudo o que você procura for uma solução imediata. Você precisa planejar com antecedência o que você precisa para obter as vantagens. Na verdade, pode fazer sentido olhar para o RDBMS se estiver descarregando dados de log que permitam a ativação da compactação, enquanto o MongoDB pode, em alguns casos, consumir mais espaço em disco e exigir mais RAM do que o MySQL, se usado incorretamente. Procure aqui uma comparação de uso do espaço em disco entre o MySQL e o MongoDB: link