Apache - Obtendo alertas sobre tráfego / spiders excedendo um limite

Question

Quais ferramentas posso usar para monitorar meus arquivos de log do Apache e criar alertas com base no tráfego. Eu preciso:

• Receba um alerta quando uma aranha que esteja fora de uma lista definida exceder um número definido de solicitações em um determinado dia.
• Receba um alerta quando o tráfego de uma rede fora de uma lista definida exceder um determinado número de solicitações em qualquer semana.

Eu posso visualizar esses dados no AWStats e no Google Analytics, mas quero configurar alertas automáticos para isso. Eu poderia entregar alguns scripts, mas achei que eles poderiam ser uma solução existente. Estamos rodando em Linux / Apache / MySQL e uma solução de código aberto seria uma vantagem.

    

Answer 1

Como você analisa os logs com AWStats , você pode usar as informações que ele coleta em seu banco de dados , que é um arquivo texto simples e é muito fácil de analisar.

Procure a seção:

BEGIN_ROBOT ..
[...]
END_ROBOT

A quantidade de largura de banda consumida por cada spider é agregada na terceira coluna . Aposto que você poderia escrever facilmente um pequeno script que recupera as informações necessárias e envia um alerta se o consumo de largura de banda exceder os limites definidos.

Espero que isso ajude.

    

Answer 2

Provavelmente não é o que você está procurando, mas se você quiser um aplicativo sério de gerenciamento de logs, dê uma olhada em Splunk . Vai fazer o que quiser e muito mais.