Escolhendo o mecanismo de banco de dados / armazenamento correto para o iptables ulogd

Question

Estou procurando ajuda para escolher um backend de banco de dados para uma configuração do iptables ulogd.

Vamos trocar nossa atual solução de firewall proprietária pelo iptables e um dos requisitos é registrar todo o tráfego que está sendo encaminhado pelo firewall.

Observando nossos logs atuais, registramos cerca de 4000000-5000000 entradas por 24 horas, para que o banco de dados seja rápido em inserções.

O servidor é uma configuração do Debian Wheezy, então preferimos usar um banco de dados que possa ser mantido via aptitude.

Atualmente, estamos analisando o seguinte:

• MySQL 5.5 (repositório debian)
• MariaDB 5.5
• Percona 5.6
• SQLite 3

Depois de escolher um banco de dados, há também a questão de qual mecanismo de armazenamento se ajusta à nossa carga de trabalho?

Estou brincando um pouco com a ideia de ter o ulogd inserido em um mecanismo na memória e depois mover os dados para um banco de dados do mecanismo de armazenamento baseado em disco em intervalos. Alguém fez algo semelhante antes?

    

Answer 1

Acho que a resposta dependeria do que você precisa fazer com esses dados. Se for um processo em tempo real (pesquisa) que você está procurando, provavelmente precisará de um mecanismo de pesquisa (escalonável), como o Elasticsearch ou o Solr. Aqui estão dois links que podem ajudar você a começar:

Isso é com o Elasticsearch: link

Isso é com o Solr: link

Se o processamento em lote for necessário, você provavelmente ficará melhor com o Hadoop. Embora você possa ter um design que possa fazer as duas coisas. E os mecanismos de pesquisa estão incluindo mais e mais recursos de análise, como o Elasticsearch faz com agregações.