Estou tentando encontrar uma maneira de analisar nossos registros de acesso do Amazon S3 para obter algumas estatísticas da Web.
Estou tentando usar o AWStats 7, mas cheguei ao ponto em que, depois do dia 9 de um determinado mês, ele não pode processar mais nenhum registro porque ele fica sem memória. Este servidor tem 4gigs de memória
Nossos logs do S3 são bastante grandes (~ 1gig / dia) e, em breve, os registros do CloudFront podem ser de 10 a 20gig / dia.
Existe algum software que possa gerar webstats a partir dos logs do S3 (e logo da nuvem)?
Eu sei sobre o s3stat.com, mas quero algo que eu possa executar sozinho.
Eu sugeriria GoAccess . Estamos analisando cerca de 120 milhões de acessos em cerca de 35 minutos, o que é muito mais rápido que o awstats. Parece que não consome muito ram. (< 1GB) Ele está sendo executado em um sistema de 8 GB de RAM.
Você deve tentar, no entanto.
Eu consideraria a execução do analista karmasphere no EMR para executar consultas SQL no seu diretório de log do CloudFront (o KSA sabe como consultar a partir do bucket- > folder- > gzip- > .log)