Pensamentos sobre os tamanhos dos arquivos de log do Apache?

Question

Você impõe algum limite ao tamanho dos arquivos de log do Apache - access.log e error.log ?

Especificamente, você pode dar:

• Razões para limitar os tamanhos dos arquivos de log
  • Espaço em disco
  • Alguma outra pessoa?
• Motivos NÃO para limitar os tamanhos dos arquivos de log
  • Pesquisa sobre problemas de desempenho ou violações de segurança
  • Alguma outra pessoa?
• Métodos de fazer isso
  • Tarefa Cron que exclui periodicamente o arquivo ou as primeiras N linhas?
  • Alguma outra pessoa?
• Qualquer coisa que você possa salvar antes de excluir
  • Por exemplo, selecione quantas vezes um arquivo foi baixado antes de excluir os registros de acesso

Eu gostaria de obter os pensamentos de administradores experientes antes de fazer qualquer coisa.

(Marcando como wiki da comunidade, pois isso pode ser uma questão de opinião.)

    

Answer 1

Você deve abordá-lo de outra maneira, em vez de limitar esses arquivos de log, trabalhe em um sistema em que sempre haja espaço de log suficiente para que eles nunca ocupem o disco.

A minha principal maneira de fazer isso é simplesmente calcular quanto espaço é provável que seja necessário, e dar-lhe muito espaço, mas eu também tenho um script que irá verificar o espaço em disco no diretório de logs, e se está ficando apertado irá automaticamente rodar os arquivos de log, comprimir versões antigas e apagar aqueles que são antigos o suficiente para que eles estejam em mídia arquivada.

    

Answer 2

Bem, as principais razões para não limitar os tamanhos de log são:

• fornece um log de auditoria útil
• fornece um log de acesso detalhado
• serve como um banco de dados para análise futura:
  • outras referências de websites
  • caminho de navegação interno
  • log de conteúdo interno escolhido aleatoriamente
  • útil para depurar erros lentos para relatar

O principal motivo para limitar o tamanho do log é não sobrecarregar o espaço em disco. Mas isso é muito ruim - unidades de 1.5 TB agora custam cerca de US $ 120.

    

Answer 3

Eu recomendaria pensar em termos de rotação de log feita sob medida para se ajustar aos tamanhos dos arquivos de log. Se você tiver um site extremamente usado, gerando uma grande quantidade de entradas de log, gire com base em um tamanho de arquivo pequeno o suficiente para trabalhar com eficiência em um editor de texto ou com o que você visualizar e mantenha logs pequenos o suficiente para comprimir e enviar. para outras pessoas para fins adicionais de solução de problemas. Se você estiver gerando uma pequena quantidade de entradas de log, uma preferência pessoal é girar diariamente para que eu possa facilmente encontrar erros. Além disso, com rotações diárias, vejo picos de utilização e erros com base no tamanho dos arquivos.

A retenção de registros deve ser orientada por necessidades pessoais, necessidades de análise estatística ou normas / regulamentos corporativos. Se você quiser analisar os logs e procurar por padrões de uso, estatísticas ou para fins de auditoria, talvez queira manter uma quantidade considerável de arquivos de log. Os arquivos de log são compactados em tamanhos surpreendentemente pequenos, por isso é fácil manter um grande número deles.

Configuramos a compactação automatizada - > arquivamento e, eventualmente, processos de exclusão com base em nossas políticas de retenção para manter a administração do sistema no mínimo.

    

Answer 4

Mas por que excluí-los quando você pode simplesmente bzip2 / tar / cpio-los.
Arquivos de texto têm uma excelente taxa de compactação.
Ou apenas arquive-os em fitas (armazenamento barato e de longa duração) com ou sem compressão

    

Answer 5

Limite o tamanho antes de girar. Arquivos brutos menores queimarão menos tempo no seu servidor enquanto eles estão sendo compactados.

Quantos dos registros girados que você deseja manter é uma questão à parte.

    

Answer 6

Em uma máquina de produção, não os excluo, apenas arquive-os como mencionado acima.

Mas em uma máquina de desenvolvimento, os logs são úteis apenas por um curto período de tempo, portanto faz sentido impedi-los de ocupar muito espaço em disco - especialmente em uma máquina onde o sistema de arquivos raiz está em um SSD em vez de um HDD (tamanhos de unidade muito menores).