temos alguns servidores da web e planejamos criar um painel para mostrar o endereço IP das estatísticas em tempo real, a localização geográfica e outros dados personalizados com base em pesquisas de banco de dados. Splunk se encaixa perfeitamente, mas se perguntando se existe alguma alternativa de código aberto. Eu olhei para logstash e graylog2, mas que eu saiba, são mais ferramentas de análise de log. O Piwik é interessante, exceto que não posso colocar nenhum javascript nas páginas da web. Tudo o que tenho acesso é o log da web do apache. Quaisquer recomendações, por favor ..
Os visitantes têm um modo em tempo real e podem mostrar informações básicas, como as páginas mais visitadas, as horas / dias mais quentes e até análise de trajetória visual.
Você também pode alimentar seus logs do Apache para o MySQL com syslog-ng e usar front-ends como logzilla (anteriormente conhecido como php-syslog-ng ) para consultar os dados.
Uma pergunta interessante, a propósito - eu sou todo ouvidos para melhores soluções! +1 para a sua pergunta por causa disso. :)
Para que fim?
Há realmente dois ramos de análise da Web - informações de marketing e informações de desempenho (e design de interface do usuário que abrange os dois).
O Google Analytics, o Open Web Analytics, o Piwik e, em menor extensão, o AWstats, Analog e outros, tratam principalmente de coletar informações de marketing (qual é sua base de clientes, onde estão, que navegadores usam, qual taxa de conversão ...) .O lado do desempenho não oferece tanta escolha - mas o statsd + grafite fornece um backend de stonking para armazenar e apresentar dados de várias fontes (logs, erros de javascript). No momento, estou planejando uma instalação usando isso no back-end e no Yahoo Boomerang para coletar os tempos de carregamento da página. Dê uma olhada no Graphene para um exemplo do que ele pode fazer. Escrever, digamos, um script awk, para analisar os logs e alimentar o backend seria trivial.
Há também ferramentas como PastMon, que podem farejar e informar sobre várias estatísticas de rede de baixo nível. Ou mrtg.
Como você mencionou, há Piwik , que tem uma API de acompanhamento flexível, você pode inserir Javascript com tag <noscript> ou insira uma imagem simples em suas páginas.
Insira o código a seguir, conforme sugerido na página oficial do API de acompanhamento do Piwik :
<!-- Piwik Image Tracker -->
<img src="http://demo.piwik.org/piwik.php?idsite={$IDSITE}&rec=1"style="border:0" alt="" />
<!-- End Piwik -->
Não há necessidade de JS para recursos básicos. :)
Obrigado por todos os conselhos. No momento, eu configurei o logstash no cliente para enviar seus logs de acesso a um servidor central do rabbitmq e usar outra instância do logstash para analisar os dados no elasticsearch. com o RESTApi do elasticsearch eu consegui fazer alguns dashboards interessantes (como a localização atual dos usuários acessando o servidor web).