Benefícios da rotação de log

Question

Eu tenho usado o logrotation por anos e nunca pensei muito sobre isso ser um problema até me deparar com uma pergunta no stackoverflow ( link ) onde alguém quer desabilitar a rotação de log.

Para mim, com experiência em ter servidores de criação e até mesmo servidores de produção limpos manualmente porque os logs não são girados e os discos estão acabando e de repente as máquinas param, tudo parece louco, mas ocorreu-me que talvez não tão óbvio depois de tudo.

Então, quais são os benefícios da rotação de log? E quais são os inconvenientes (por exemplo, mais difícil de depurar / analisar talvez)? Quais ferramentas você considera úteis para trabalhar com arquivos de log rotacionados? Splunk eu assumo, mas o que mais?

    

Answer 1

Acho que os benefícios da rotação de log são claros:

1. Você pode gerenciar facilmente arquivos de log menores em vez de um arquivo de log enorme.
2. Você não fica sem espaço em disco de repente se configurá-lo adequadamente de acordo com seus limites de capacidade. ( size opção)
3. Arquivos de log mais antigos podem ser compactados para que os arquivos de log fiquem ainda menores em tamanho e, portanto, economizando mais espaço em disco. ( compress opção).
4. Você pode girar os arquivos de uma maneira / hora específica. Por exemplo, cada arquivo de log contém apenas informações relacionadas a um dia específico. Isso tornará a busca mais fácil, desde que você saiba a data. Quando você não sabe a data, você pode pesquisar todos os arquivos ou um subconjunto deles. ( daily , monthly , etc).
5. Você se livra automaticamente de arquivos muito antigos. Por exemplo, você pode manter 30 arquivos no máximo. ( rotate 30 ).
6. Você pode adicionar a extensão desejada, como a data de rotação. ( dateext ).
7. Você pode executar scripts específicos antes / depois da rotação. ( prerotate , postrotate ).

EDITAR: adicionei mais itens à lista e incluí as opções quando aplicável. Para mais detalhes, man logrotate pode ser consultado.

    

Answer 2

Benefícios:

• se os arquivos de log forem grandes, você poderá compactar ou excluir dados antigos para evitar o preenchimento do disco
• se você souber quando algo aconteceu, será mais rápido o arquivo de log de um único dia do que um único arquivo de log perpétuo

Desvantagens:

• se você quiser processar todo o histórico, terá que especificar vários nomes de arquivo
• alguns programas não suportam rotação, e se você rodar usando um utilitário como logrotate, existem alguns casos de limites a serem observados (por exemplo, você tem que usar a opção truncar, o que eu acho que significa arriscar perder um minúsculo quantidade de dados)

Answer 3

Se você pensar sobre o que você usa logs, os benefícios se tornam ainda mais claros. Deixando de lado os pontos óbvios mencionados por outros e por você mesmo. Para mim, o grande benefício é que posso controlar como os logs são alimentados em ferramentas de análise off-line.

Eu tenho uma variedade de scripts internos que eu uso para análise de logs - mas, o AFAIK, o splunk e as várias ferramentas de análise do weblog são as únicas ferramentas 'padrão' disponíveis no mercado. (sem contar os analisadores de arquivos de log em tempo real como o fail2ban).