Isso já foi discutido, mas já se passaram vários meses, então talvez seja hora de revisitá-lo:
Discussões anteriores RE Alternativas de Splunk
Para o registro, o Splunk balança. Mas o preço é simplesmente além do que podemos considerar (quando falei com a Splunk hoje, o custo de um sistema para indexar 5GB / dia de dados é superior a US $ 30.000.)
Isso é mais do que gastamos no SQL Server (por um grande múltiplo), mais do que gastamos em um rack de servidores (por vários), etc. etc.
A equipe de vendas do splunk está correta (que por US $ 30 mil temos mais valor e funcionalidade do que se gastarmos o mesmo prédio em nosso próprio sistema), mas isso não importa. O custo do splunk é simplesmente alto demais (por um múltiplo).
Soooooo, estamos olhando em volta!
Alguém aí está construindo um sistema parecido com o splunk?
Nossa necessidade básica:
Atualmente, precisamos indexar de 3 a 5 gb / dia, mas precisamos escalar até 10 gb / dia ou mais. Nós não precisamos de muita história (30 dias é bom).
Utilizamos servidores Windows 2008 e 2003.
Obrigado por seus pensamentos!
UPDATE : passamos duas semanas pesquisando opções comerciais e de código aberto. Nossa conclusão: Escreva o nosso próprio (somos uma empresa de software ... sabemos como escrever coisas). Nós construímos um ótimo sistema baseado em mongodb e .NET que nos fornece as funções que precisamos do MongoDB em cerca de uma semana de engenharia. Agora concluímos nossa implementação. Usamos dois servidores Mongodb (master e slave), e podemos registrar e indexar qualquer quantidade de dados de log (5gb / dia, 15gb / day, etc), limitada apenas pelo espaço em disco.
ATUALIZAÇÃO PARA A ATUALIZAÇÃO (dezembro de 2012) : Continuamos a usar nossa solução mongodb e ela funciona muito bem! Se a construíssemos hoje, consideraríamos strongmente construí-la em cima da elasticsearch.
OBSERVAÇÕES : esse espaço precisa de uma solução sólida que seja de US $ 1.000 a US $ 3.000,00. Os modelos de licenciamento utilizados pelas firmas comerciais baseiam-se em modelos do tipo "ordenham o processamento de data centers". Esse é o seu direito (claro!), Mas deixa um espaço enorme para alguém entrar embaixo deles. Meu palpite é que em mais um ano ou dois haverá uma boa solução de código aberto que será realmente utilizável.
Obrigado a todos por sua contribuição (mesmo que tenha sido auto-promoção).
logstash is a tool for managing events and logs. You can use it to collect logs, parse them, and store them for later use (like, for searching). Speaking of searching, logstash comes with a web interface for searching and drilling into all of your logs.
Ainda é um pouco cedo no desenvolvimento, mas parece muito promissor e se move rapidamente.
Eu não tenho uma matriz de comparação para o seguinte, especialmente quando se trata de comparação com o splunk:
Estas são algumas ferramentas totalmente operacionais:
Octopussy link
Logreport link
Snare: link
Surfista de log: link
Log Analyzer: link
Linha do tempo do log 2: link (essa é mais uma ferramenta de análise de "linha do tempo")
Por fim, se você quiser fazer algumas codificações, mas possivelmente tenha uma solução mais escalável: (as seguintes são ferramentas para coletar dados de log, eles não precisam ter todas as funcionalidades prontas para pesquisar os dados.)
Honu link
Chukwa link
Flume link
Editar: Adicionado este link de comparação: link
Editar: Adicionado Graylog2 : Adicionado Logstash . O Logstash é provavelmente o melhor posicionado para se tornar o "substituto do splunk open source".