Estamos usando o awstats há algum tempo para analisar nossos logs do servidor apache em um formato para o departamento de faturamento.
Um conjunto de scripts Python personalizados está em uso para gerar os logs de mesclagem com base naqueles transmitidos de cada um dos servidores no cluster / farm de hospedagem.
O problema que estou enfrentando atualmente é que nossos logs cresceram consideravelmente para determinados projetos, alguns gerando ~ 30 GB / dia em logs descompactados. O awstats não é o mais eficiente em memória dos analisadores, e usará mais de 1GB de memória para processar esses logs (por comparação, um script Python + regex meu com 450kb de memória).
O que eu preciso é de um substituto para o awstats que possa lidar com grandes arquivos de log de maneira justa e produzir uma saída "amigável ao faturamento".
As estatísticas devem incluir largura de banda, visitos exclusivos, visualizações por páginas exclusivas, etc.
Idealmente, isso também deve nos permitir importar os dados históricos do Awstats (que estão atualmente em arquivos de texto).
Então, em resumo, minha pergunta é: existe algum software disponível para fazer isso?
Tags untagged