Pergunte a qualquer um no jogo sobre monitoramento, e eles devem mencionar Nagios . Uma das grandes coisas sobre o Nagios é que ele é simplesmente um mecanismo de agendamento e geração de relatórios. É fácil escrever plugions para monitorar as coisas que você quer medir - e muitas pessoas fizeram isso ou colocar novos front ends. O Zabbix fornece uma versão bem empacotada.
Provavelmente existem plugins para análise de logs (uma rápida introdução isso ), mas escrever o seu próprio é fácil. Alternativamente (ou além) você pode querer dar uma olhada no Splunk que é especificamente uma ferramenta para manipular arquivos de log.