Nossos logs de segurança do AD DC passam entre 3 a 5 GB de logs por dia durante horários de pico, e não há como a Google fazer qualquer coisa com eles por meio de ferramentas nativas. Algum tipo de analisador de logs é necessário para fazer sentido deles. Eu escrevi uma do zero no PowerShell e recentemente analisamos o Splunk. O Splunk pode acompanhar o dilúvio e também acompanhar os dados do syslog do seu dispositivo net (quase tão grande quanto o volume). Tudo em um banco de dados. Vai demorar um servidor robusto para mastigar esse tipo de carga de dados, mas isso é um problema solucionável. No momento, estamos aguardando a conclusão dos Dark Rites corretos para que possamos obter financiamento para um ambiente de registro centralizado.
Ter uma "única vidraça" como visão dos dados é uma coisa boa. O que você não conseguirá é um arquivo de texto de atualização, você pode então seguir o estilo syslog. O que você obterá é uma interface com um sistema de consulta rico e (acredito) uma API para escrever seus próprios front-ends da web para suas próprias necessidades nefastas.
Quando se trata de dados do log de eventos do Windows, o Splunk não está retirando a versão XML desses eventos, está retirando a versão de texto da "exibição detalhada" de cada evento e analisando-a. Eu tinha algumas preocupações reais sobre a escala lá, mas fiquei agradavelmente surpreso quando conseguiu acompanhar nossas cargas de registro apesar disso; Eu tive que ir XML com meu script do PowerShell porque a análise de texto estava demorando muito.