Gerenciamento e armazenamento de logs grandes

Question

Estou constantemente lidando com uma grande quantidade de logs (crescendo em torno de 1Gb por dia), e os gerencio da maneira antiga, descarregando os logs antes que eles girem para um servidor central e depois armazenando em fita.

Agora, como esses registros podem ser solicitados pelas autoridades, em algum momento preciso lê-los, encontrar o que precisam e enviar de volta as partes interessantes [ estou localizado na Itália ]. De qualquer forma, lidar com essas coisas se tornou bastante difícil, já que o volume de logs gerados continua crescendo, meu armazenamento em fita também e manter o controle das coisas não é tão fácil como era há alguns anos.

Eu já experimentei o Graylog2 e parece ser um software muito bom, o único problema no meu caminho é que não há um método fácil para exportar os logs para outro armazenamento, e importar de volta quando necessário (talvez eu entendido de forma errada como funciona).

Alguém pode me fornecer exemplos do processo usado para gerenciar essa quantidade de registros ou uma solução para exportar facilmente os registros e importar de volta quando necessário?

Obrigado antecipadamente

    

Answer 1

Pessoalmente, usamos o Graylog2 - nossos registros podem não ser tão grandes quanto os seus, mas é uma ótima maneira de armazenar e gerenciar registros.

O que eu faria em sua situação é observar que o Graylog2 usa o ElasticSearch para armazenamento de logs. Defina Graylog2 para manter as coisas ao vivo e pesquisáveis enquanto seus servidores puderem lidar com isso. (Você pode configurá-lo para remover conteúdo com mais de X dias).

Para fins de arquivamento, a cada intervalo definido (ou seja, diariamente), execute um script que você tenha escrito que exportará os dados desse intervalo para o armazenamento frio. Isso deve ser tão fácil quanto uma simples consulta JSON ao ElasticSearch.

Não sei por que você precisaria reimportá-lo. É todo o texto, então você pode pesquisá-lo conforme necessário usando as ferramentas padrão (ou seja, grep), ou você pode escrever o seu próprio importador ElasticSearch.