Analisador de Log da Web para mod_log_sql

Question

Nossos servidores web de frontend agora estão registrando todos os nossos weblogs em mySQL usando o mod_log_sql, liberando milhares de diretivas "AccessLog" em nossa configuração do apache (estamos executando entre 600-900 hosts virtuais em nossos servidores agora)

Dito isto, estou tentando encontrar um analisador de weblog razoável que trabalhe com o mod_log_sql. Eu usei webalizer & awstats por anos e eu realmente gosto deles, no entanto nem ferramenta suporta log baseado em sql.

Não precisa ser em tempo real, mas pelo menos é necessário conseguir dados de uma tabela de banco de dados.

Alguém tem alguma sugestão?

    

Answer 1

Existe um script php chamado Skeith que faz o que você quer.

Clique aqui para fazer o download do link

Aqui está um recorte do site:

O Skeith é um simples analisador de logs e repórter. Especificamente, o Skeith trabalha para o módulo mod_log_sql para o Apache (ele deve funcionar também para o mod_log_mysql, mas até agora os testes só foram feitos com o mod_log_sql).

A principal característica do Skeith, que o diferencia de outros analisadores de log, é que ele pode gerar o arquivo de log para um determinado dia ou mês em tempo real. Dessa forma, o administrador do sistema pode analisar as solicitações exatas que podem ser questionáveis ou prejudiciais.

    

Answer 2

Eu não recomendaria o armazenamento de logs em nenhum tipo de banco de dados SQL. Mecanismos de armazenamento em SQL simplesmente não são adequados para isso, à medida que a quantidade de dados aumenta (como certamente acontecerá com quase 1000 hosts virtuais), a velocidade de gravação sofrerá lentidão severa. A exclusão do banco de dados também é uma operação dolorosa, pois a tabela ficará fragmentada, aumentando ainda mais a latência de leitura / gravação e diminuindo a velocidade.

Você insiste em armazenar logs no banco de dados SQL. Você terá que fazer o melhor possível para extrair o máximo de dados sem importância possível.