Qual é a melhor ferramenta para agregar estatísticas de tráfego de vários servidores nginx?

Question

A configuração:

2 or more nginx machines
each machine has the same virtual hosts
traffic is load balanced via DNS to each machine

Eu preciso descobrir quais são as melhores ferramentas para usar para obter algumas estatísticas de tráfego, principalmente interessadas na quantidade de acessos e no tráfego total em gigabytes. Obviamente, as informações de log virão do nginx, formatadas assim:

  log_format  main  '$remote_addr $host $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$gzip_ratio"';

    

Answer 1

awstats é definitivamente a ferramenta para o trabalho.

    

Answer 2

Registros rsync (ou compartilhe nfs se você estiver se sentindo corajoso) para um local e, em seguida, use awstats para analisar.

    

Answer 3

Independentemente do programa de análise que você pretende usar, logresolvemerge.pl é quase certamente o seu vencedor para mesclar os próprios logs. Além da sintaxe listada de Marco para o awstats, ele funciona como um campeão como um programa autônomo ao longo das linhas de:

/path/to/logresolvemerge.pl /path/to/one/big/logfile /path/to/many/files/ending/in/*.log > /path/to/merged/log.file