Gerenciando logs para várias instâncias dinâmicas na Amazon

Question

Eu tenho esse problema ou melhor, uma coceira com a qual eu realmente poderia ajudar.  Eu uso autoescala e várias instâncias na Amazon. Problema é que eu tenho todos esses logs PHP, Apache, sistema, mas também meu aplicativo web gerando logs de tráfego, etc, etc. Eu quero consolidar todos esses logs. Eu sei que o syslogd etc existe, mas eu estava me perguntando qual é a solução administrativa mais eficaz e baixa que os devops estão usando atualmente, uma vez que minha experiência no Amazon AWS não é tão extensa. Além disso, preciso que a solução seja de baixo uso de recursos, se possível. Atingir o banco de dados para salvar todos os dados a cada segundo não é uma boa solução para mim.

Por favor, note que eu não estou falando sobre o monitoramento do sistema, que é servido pelo CloudWatch, etc, mais para os aplicativos e servidores em execução, bem como escrever registros de aplicativos personalizados. Também todos os sistemas são assumidos como Redhat Linux.

Qualquer ajuda ou direção é apreciada.

    

Answer 1

A solução mais simples e fácil é provavelmente o syslogging para um servidor de logs central, por exemplo, com o syslogd. É simples, gratuito e amplamente usado em ambientes de produção.

Você poderia então usar o Graylog2 como um analisador de log gratuito. É um pouco como o Splunk, mas muito mais acessível.

Também interessante para sua caixa de ferramentas é o logstash , uma ferramenta para gerenciar eventos e logs. Você pode usá-lo para coletar logs, analisá-los e armazená-los para uso posterior (como, por exemplo, para pesquisar). Você pode usar a interface web integrada ou pesquisar os logs via Graylog2, se preferir sua interface. O Logstash ajuda você a obter logs e outros dados de eventos de seus sistemas, normalizá-los e movê-los para um local central.