Existe algum motivo para manter o registro em log de um site de volume muito alto? Quais dados valiosos existem nos registros brutos?
Mantemos os registros hoje para "apenas no caso" alguém poderia fornecer uma resposta para "Apenas no caso de quê?"
Tente manter seus registros por pelo menos meia semana. Você pode usar ferramentas como o OSSEC para analisá-las em tempo real e apenas armazenar o que é relevante para a segurança (vários 400's, códigos de erro do 500, varreduras, etc.).
Veja este documento para algumas ideias sobre o valor de segurança de manter esses registros:
Você deseja manter seus registros, mas possivelmente analisar a agregação. Eu uso Analógico para produzir relatórios semanais e mensais que são arquivados. Algumas comparações históricas dos 404s levaram à correção de uma alteração no meu site.
Mantenho vários meses de registros do IIS, mas tenho anos de relatórios analógicos mensais que foram produzidos a partir deles.
O tamanho total dos meus registros + relatórios é insignificante - menos de 50 MB.
Supondo que você rastreie o tráfego em outro lugar, sugiro que seu uso mais importante seja o retrocesso de atividades incomuns que podem não ser prontamente vistas em monitores de tráfego puros. Por exemplo, muitos pedidos para a página de login de um IP, ou um grande número de erros 404 para / admin, / administration, / config, etc.
Logs podem realmente ser úteis em certas situações. As situações em andamento são relatórios de tendências que podem mostrar a exibição da página ou o crescimento do tráfego ou o tráfego do referenciador (qual mecanismo de pesquisa está enviando tráfego para você). Se você tiver arquivos de log realmente grandes, é útil processá-los com frequência e apenas reter o resumo que sua ferramenta de relatórios retém.
A outra coisa que é útil é dados históricos, se você precisar pesquisá-los. Isso é útil se você tiver um ataque de injeção de SQL, qualquer outro tipo de ataque ou até mesmo um DDOS em que deseja rastrear quando começou e se os computadores zumbis estão vindo de uma determinada região. Nessas situações, você ficará muito agradecido por manter os logs por perto.
Além disso, se você tiver PCI ou outros requisitos de conformidade, pode ser um requisito manter uma certa quantidade de dados de registro.
Você pode desativar o registro de determinadas pastas. Por exemplo, se você tiver um balanceador de carga ou software de monitoramento, poderá desativar o registro na pasta em que ele testa. Você também pode desativar sua pasta \ images ou outras pastas que possam gerar muito tráfego, mas que não precisem ser registradas.