Que solução você está usando para o log do IIS 7.5?

Question

Estou procurando algumas configurações recomendadas para o log do IIS (7.5) para uma web farm de tráfego razoavelmente alto? Atualmente gerando aproximadamente 500MB de logs descompactados em cada um dos quatro servidores da web diariamente.

Criação de log de ODBC? Para o SQL Server parece muita sobrecarga para arquivos de log ... Talvez para um banco de dados de código aberto de algum tipo?

Devo continuar usando arquivos de log e algo como Analógico para resumi-los para pontos de interesse?

E quanto a Splunk ? Isso poderia ser útil?

Quaisquer recomendações ou histórias de guerra de pessoas que executam o IIS em ambientes maiores e como você lida com o registro de solicitações?

    

Answer 1

Eu tenho usado o AWStats para os nossos grandes farms, embora eu limpe os arquivos primeiro com o LogParser (removendo verificações de integridade, mesclando arquivos de farm ( não classifique! ), etc.). Não temos o tamanho dos arquivos que você faz, mas estamos definitivamente na faixa de 300MB e o AWStats funciona bem. Nós não precisamos de tempo real, então o processamento acontece em um servidor de empregos à noite e as estatísticas estão prontas diariamente. Temos estatísticas de cerca de 10 sites diferentes. Se você quiser detalhar os subsites, fica um pouco confuso, mas estamos usando o AWStats há cerca de cinco ou seis anos sem problemas.

Adoraria usar o Google Analytics, mas não é bom para sites de intranet (motivos de segurança / privacidade).

    

Answer 2

Eu me esforcei para encontrar um bom programa para lidar com arquivos de log grandes. Em algum lugar em torno do tamanho que você tem é onde a maioria das ferramentas começa a falhar.

DeepMetrix LiveStats (não mais um produto ativo) falharia em torno desse tamanho de log.

O SmarterStats (www.smartertools.com) está próximo e você pode tentar. Ele acompanhará o processamento de logs, mas será lento na visualização de relatórios devido ao seu próprio banco de dados do sistema de arquivos.

O analógico pode lidar com muitos logs e acredito que funcione para esse tamanho, embora eu não tenha tentado em alguns anos.

Até o Urchin enfrenta grandes arquivos de log. Ele provavelmente pode lidar com o seu tamanho, mas acabará chegando ao pico também.

O Log Parser é incrível como analisar arquivos de log grandes, mas você precisará criar seus próprios relatórios. Reverti para alguns relatórios personalizados em alguns sites realmente grandes.

O Google Analytics é uma opção a considerar também. É uma opção viável para situações como a sua.