Você deve começar com a ideia de um servidor de log centralizado (que deve ser um servidor, não sua máquina de desktop). A maneira mais simples de fazer isso é configurar o syslog que já existe em todas as suas máquinas para enviar os logs para um host central. Esse host central coloca todas as mensagens de log em um arquivo ou uma pequena coleção de arquivos.
Aqui está um mini-howto do loghost central para você começar. Observe que o syslog tradicional tem um número de limitações como a capacidade de envie somente logs sobre o udp e não há suporte para a rotação de logs. Muitas pessoas usam a versão de código aberto do syslog-ng para resolver esses problemas, embora isso venha ao preço de uma configuração mais complexa.
Depois de ter todos os seus registros indo para um local central, você pode usar várias ferramentas para analisá-los. Estou particularmente interessado na nova ferramenta de código aberto logstash como uma maneira de fazer isso. Há também ferramentas não-livres, como o Splunk, que os pôsteres anteriores já comentaram.